中国工程院院士吴世忠：相较AI技术发展，安全研究明显滞后

“AI治理的根本目的是要管控安全风险。”

12月18日下午，在由南都数字经济治理研究中心和清华大学智能法治研究院联合主办的第八届啄木鸟数据治理论坛上，中国工程院院士吴世忠分享了对人工智能安全与治理现状的观察。

他提到，AI在带来发展奇迹的同时，安全隐患也相继浮出水面。比如，2023年基于深度伪造的诈骗暴增3000%，钓鱼邮件增长了1000%，有的还伪造了名人政要的视频。此外AI赋能勒索病毒，数据窃密和网络诈骗等，也给网络安全带来新挑战。

对此，全球范围内加强AI监管的呼声尤为急迫，相关的应对举措也更为迅速。据吴世忠观察，目前相关国家正从早期设机构、定原则，逐步推进到制定标准和研发工具，越来越注重通过政策和技术落地来推动“最佳实践”，全球治理进入提速换挡的关键期。

AI“奥本海默时刻”即将到来？

当天论坛上，吴世忠从发展、生态、安全和治理四个维度勾勒了AI发展的总体态势。就发展而言，当前AI技术可谓日新月异，它已成为一个重大的科技创新和重要的发展动力。

从2022年底GPT的横空出世，到今年初SORA的文生图景，从“大力出奇迹”的大模型到一举天下知的GPU（图形处理器），“短短三年内，AI不仅迅速改变了科学范式，而且在深度探究极限推理。”吴世忠说。

基于这样巨大的发展潜力，AI成为各国高度重视的战略科技，大国之间积极开启布局，抢占先机。在吴世忠看来，目前AI已进入“大算力+大模型+大数据+大应用”的时代。“算力即是权力，模型孕育智力，数据涵养能力，应用形成实力——这既是当前发展的主流生态，也是大国竞争的主要赛道。”

吴世忠院士作题为《对人工智能安全与治理现状观察》的演讲。

需要关注的是，技术是一把双刃剑。一方面，今年诺贝尔物理学奖颁给了两位AI先驱，诺贝尔化学奖也将一半奖项授予“在蛋白质结构预测方面取得突破”的AI领域科学家。这从某种程度上肯定了AI向善的根本作用，也反映了AI正推动科学研究的范式转变，成为物理学、化学、生物学、医药等多个领域解决复杂科学问题的重要工具。

另一方面，AI的广泛应用也在极速放大安全风险。着眼于近忧层面，吴世忠提到深度伪造技术的危害，AI赋能勒索病毒、数据窃密和网络诈骗等安全新挑战，以及在智能交通、智慧医疗等领域，也带来复杂的价值对齐需求。

更深层的忧虑则体现在，AI会失控吗？它到底是人类的伙伴、助手，还是可能反过来控制人类？基于这样的担忧，超过350名AI领域的专家曾联合发布声明，呼吁将AI与流行病、核武器的风险进行对标。甚至有科学家警告，AI的“奥本海默时刻”（原指研发和使用核武器的过程中所面临的道德和伦理困境）即将到来。

“虽然业界对AI安全的远虑也有不同声音，但对智能时代的安全认知却日渐清晰。”吴世忠认为，不同于IT时代的网络安全，数据时代的信息安全，今天面对的是智能时代的智慧安全，它的内涵外延更加丰富；这是AI自身安全（Safety）、AI攻防安全（Security）和伦理道德安全（Ethics）的系统叠加和综合集成。

所以，“构建可信的AI自身安全，运行安全的AI攻防安全，治理负责任的AI伦理道德，应当是智能时代给安全治理提出的严峻挑战。”他说。

技术与伦理发展失衡，亟需跨学科综合研究

要应对AI带来挑战，安全研究任重道远。

据吴世忠介绍，安全内容包括四大方向：基础研究旨在识别安全风险，探究安全机理；技术研究立足攻防兼备，深化测试评估；伦理研究重在支撑政策法规，落实治理要求；应用研究则为了促进行业应用，保障发展安全。

在对近十年全球AI科技论文进行统计分析后，他发现相较于AI技术的发展，安全研究明显滞后，研究力量分布和资源利用也有待优化。研究相对集中的基础、技术、伦理和应用四大方向进展不一。围绕安全问题的风险，可信，攻击，防御，测评，应用和治理七个领域的研究也还刚刚兴起、有待深化。

除了强化AI安全研究外，相应的治理能力和治理体系也必须跟上。纵观国际治理的动向趋势，欧盟、美国、中国等纷纷基于自身立场和利益提出了不同的治理模式。

据吴世忠介绍，欧盟基于风险分级的方式，推出全球首部《人工智能法案》，在透明度和安全义务上施加最严格的限制；美国则采用“外紧内松”的策略，积极主导AI国际治理进程，在国内的监管则倾向于企业自律；中国采取的是统筹发展与安全的综合性治理方式，坚持以人为本，智能向善。

值得关注的是，去年以来英国、美国，日本、加拿大、韩国等国还先后成立“人工智能安全研究所”和“安全研究联盟”，加强安全研究、标准制定、安全测评，谋求人工智能全球治理主导权和话语权。

吴世忠认为，AI全球治理已进入提速换挡的关键期，治理的方向正逐步从各自为政向协作互动转变，治理力度也在由虚向实、逐步深入，且越来越注重通过政策和技术落地来推动“最佳实践”。

聚集AI治理的核心议题，吴世忠提到，由于法律制定滞后于技术发展，导致在AI应用过程中出现了诸多监管延迟，为潜在的风险滥用提供了“温床”。而全球范围内规范标准的不一，不仅阻碍了国际间技术的交流与合作，还影响全球治理体系的公平性。

此外，数据主权与知识产权的纠纷随着人工智能对大数据的依赖加深而日益凸显。数据的跨境流动与应用触及国家安全、个人隐私及企业利益等多重敏感领域，如何在促进数据共享与保护各方权益之间找到平衡点，成为亟待解决的问题。同时，人工智能生成内容的著作权归属、算法黑箱导致的责任追溯难题，以及更为深远的机器智能与人类价值观的对齐问题，都对现有的法律法规体系提出了挑战。

那么，该怎么处理技术与伦理发展失衡问题？如何开展AI治理研究？吴世忠认为，这不单纯是技术问题，也不单纯涉及法律或社会问题，而是需要加强跨学科综合研究和社会各界的参与，以构建一套适应AI时代要求的伦理框架与法律体系，在确保技术进步的同时，尊重和保护人类的尊严、权利与福祉。

中国系统部署智能社会实践，积极发出国际治理倡议

当天论坛上，吴世忠还分享了中国探索AI治理的路径与方向。他提到在顶层设计方面，据不完全统计，截至目前已有超二十项人工智能相关国家政策，地方性政策文件甚至超百件。

南都记者注意到，2017年3月，“人工智能”被首次写入国务院政府工作报告。今年3月，政府工作报告又将“人工智能+”上升到行动层面，明确提出深化大数据、人工智能等研发应用。不久前刚举行的中央经济工作会议，再提开展“人工智能+”行动，培育未来产业。

梳理这些政策文件，吴世忠发现，我国政策治理视角聚焦于鼓励技术创新、建立标准规范、安全风险治理和科技伦理治理四个方面。政策治理对象，主要体现在数据、算法和生成内容上。在治理主体上也表现出多元化——不仅有政府部门，还有企业、行业协会、科研院所、标准化组织等，形成了软规与硬法相结合、多元主体协同治理、多样化举措并举的敏捷治理模式。

值得一提的是，中国也在积极提出AI国际治理的方案。比如今年7月1日，第78届联合国大会协商一致通过中国主提的加强人工智能能力建设国际合作决议，140多国参与联署。这份决议旨在帮助各国特别是发展中国家从AI发展中平等受益，致力于弥合数字鸿沟。

基于以上观察，吴世忠对AI安全与治理提出了自己的建议。他认为面向未来，我国要始终坚持强技术、重安全、引人才、推应用的方向。不断推动产业链核心关键环节的国产化；深入推进和加强数据治理，布局建设国家级人工智能安全风险测评体系和能力；广泛吸纳海外高端人才丰富我国人才储备；统筹重点行业应用试点以提升人工智能产业实力和影响力。

“人工智能的安全与治理，既是一个复杂的难题，也是一项艰巨的任务。”吴世忠表示，希望更多人关注重视并参与AI的治理实践，为发展可审核、可监督、可追溯和可信赖的AI贡献力量。

出品：南都数字经济治理研究中心

采写：南都记者李玲 发自北京