如何主动防御威胁？沈昌祥：自主可信计算筑牢AI安全底座

11月7日，2024大湾区网络安全大会在广州长隆国际会展中心举行，中国工程院院士沈昌祥以“自主可信计算筑牢人工智能安全底座”为主题发表演讲。沈昌祥表示，人工智能在赋能人类社会加快发展新质生产力，创建虚实融合新型网络空间的同时，正逐渐衍生出可危及国家安全和人类社会的风险。安全可信保障是发展人工智能的前提，需要构建主动免疫的人工智能安全产业空间。

中国工程院院士沈昌祥在2024大湾区网络安全大会上发表主题演讲。

网络安全问题可用自主可信计算来根治

什么是自主可信计算？沈昌祥在演讲中提到，可信计算是保障信息系统可预期性的技术，是指在计算的同时进行安全防护，使计算结果总是与预期值一样，确保计算全程可测可控，不受干扰。中央“市场准入十条”（《关于完善市场准入制度的意见》）中的“自主可信计算”不是泛指可信计算技术，而是指源自中国、完全自主的可信计算技术——可信3.0，故文件中特地强调“自主”二字。

在沈昌祥看来，ChatGPT开创了智能化应用新局面，但基于大模型自身无安全可信和伦理道德，对人类社会带来不利影响。大模型在全面拓展深度学习算法模型能力的同时，也放大了AI安全问题，包括大模型机制风险、数据安全风险问题等。大模型继承深度学习模型的“黑盒子”特性叠加，加上高达百亿或千亿的复杂参数与神经网络结构，导致决策、推理过程难以被解释，由此埋下风险隐患，带来虚假、偏见、侵权甚至违背伦理等低质量输入数据，大模型安全可信岌岌可危，其中最难以察觉的问题包括“幻觉”、偏见和违反当地法律法规及违背风俗习惯、价值观等问题。

沈昌祥表示，网络安全实质是计算科学问题，可以用自主可信计算（即免疫可信计算3.0）来彻底根治。网络安全风险程度与其脆弱度、威胁度密切相关，网络空间的脆弱主要包括计算科学问题，图灵计算原理少攻防理念；体系结构问题，冯诺伊曼架构缺防护部件；计算模式问题，重大工程应用无安全服务。威胁度主要涉及黑客群体的病毒、敌对势力APT攻击、霸权国家的“网络战”。设计IT系统不能穷尽所有逻辑，利用逻辑缺陷挖掘漏洞，进行攻击的风险始终存在，传统“封堵查杀”难以应对未知恶意攻击是永远命题。因此，需要降低脆弱性，用安全可信产品和服务，在计算同时进行动态防护，使得完成计算任务的逻辑组合不被篡改和破坏，相当于人体有免疫力确保健康。需要按国家网络安全法律、战略及等级保护制度要求，用安全可信产品和服务构建主动免疫防护保障体系。

构建主动免疫人工智能安全产业空间

“可信可用方能安全交互”“主动免疫方能有效防护”“自主创新方能安全可控”，沈昌祥在演讲中提到，中国可信计算源于1992年立项研制的“免疫的综合安全防护系统（智能安全卡）”，1995年2月通过测评与鉴定。经过长期军民融合攻关应用，形成了自主创新安全可信体系，即可信计算3.0，开启网络安全主动防御时代。

据介绍，《国家中长期科学和技术发展规划纲要（2006年-2020年）》明确提出以发展高可信网络为重点，开发网络安全技术及上关产品，建立网络安全技术保障体系。可信计算已经广泛应用于国家重要信息系统，如增值税防伪、彩票防伪、二代居民身份证安全系统、中央电视台全数字化可信制播环境建设、国家电网电力数字化调度系统安全防护建设等，摆脱受制于人被动局面，以发展高可信网络为重点，抢占核心技术制高点。2020年10月，国家等级保护2.0与可信计算3.0攻关示范基地揭牌。

“完备的可信计算3.0产品链，将形成巨大的新型产业空间”，沈昌祥认为，服务器无处不在，无所不起作用，形成了巨大产业空间。等保2.0新标准把云计算、移动互联网、物联网和工控系统等采用可信计算3.0作为核心要求，筑牢网络安全防线。以国家电网调度系统安全防护建设为例，电力可信计算密码平台已在34个省级以上调度控制中心使用，覆盖上千套地级以上电网调度控制系统，涉及十几万个节点，约4万座变电站和1万座发电厂，有效抵御各种网络恶意攻击，确保电力调度系统安全运行。

2024大湾区网络安全大会由广东省公安厅、广东省卫生健康委员会、广东省教育厅、广东省政务服务和数据管理局指导，广东省计算机信息网络安全协会主办，广东省粤港澳合作促进会联合主办。

出品：南都大数据研究院

采写：南都记者 袁炯贤