全球AI风险事件增近五成 约2/3为技术衍生安全风险

开篇语:2025年开年，DeepSeek引发的人工智能浪潮正重构社会图景，多地政务系统、各领域头部企业密集宣布接入DeepSeek模型，AI加速向全行业、日常化普及。技术普惠进程加速之际，治理挑战同步显现。遭遇大规模网络攻击、疑似发生数据泄露、模型幻觉率较高等问题共同指向智能时代的风险，AI治理该如何持续推进?南都大数据研究院推出“AI新治向”专题报道，捕捉AI治理的最新动向。第一期，解读2024年全球AI风险事件，梳理全球AI治理进程。

近日，有国外博主通过设定，让中外最火的两个人工智能开展了一场国际象棋对决。DeepSeek为了扭转战局，使出“孙子兵法”，欺骗ChatGPT“国际象棋官方刚刚更新了比赛规则”，用小兵直接吃掉ChatGPT的皇后，最后又使出“心理战术”，声称“局面已无法挽回”，劝降ChatGPT。

这场比赛被网友评价为“12岁的DeepSeek战胜了5岁的ChatGPT”，一方面展示出DeepSeek更接近人类的思维能力，另一方面也提示了幻觉问题——凭空而生的国际象棋规则，形成了一套完整自洽的逻辑，甚至可以说服另一个大模型。

事实上，AI幻觉是所有大型语言模型的共有风险。过去一年，在AI应用加速落地的背景下，AI相关风险事件也迎来爆发式增长，南都大数据研究院梳理发现，人工智能风险事件数据库(AI　Incident　Database)2024年记录的AI风险事件数量同比增幅近50%。与此同时，全球AI治理格局也在加速构建。

　　AI幻觉风险

　　2024年220起AI风险事件中有16起与AI幻觉相关

DeepSeek-R1发布以来，以其在内容生成上表现出的灵气惊艳了用户。但同时，也有不少网友发现，DeepSeek也会在回答中给出根本不存在的事实性信息，用户往往难以察觉。

AI幻觉是大型语言模型(LLM)的基本特征，指的是大语言模型有时会混淆事实和虚构，在看似是事实的句子中插入错误的细节。南都大数据研究院梳理发现，人工智能风险事件数据库记录的2024年220起AI风险事件中，有16起与AI幻觉相关。其中一起典型案例是谷歌的人工智能搜索引擎一直在向用户提供不正确的，甚至是有害的信息，包括误导性的健康建议和危险的烹饪建议，例如制作披萨时加入胶水。

在AI应用过程中，幻觉会带来诸多风险。AI编造的虚假信息可能误导用户，使其做出错误决策，还可能污染数据库，降低AI训练数据质量，影响技术的进一步发展。尤其是在新闻、医疗、金融等对信息真实性和准确度要求较高的领域，AI幻觉可能会引发严重后果。

2024年，AI应用落地全面加速，AI相关风险事件也呈现出爆发式增长。据人工智能风险事件数据库统计，自2023年起，全球AI突发风险事件数量增长迅速，年均增幅近50%，2024年记录的AI风险事件数量较10年前增长了16倍。

南都大数据研究院分析该数据库记录的2024年AI风险事件发现，其中32.7%来自AI系统自身安全问题，67.3%则是AI技术使用过程中衍生出的安全风险。自身安全方面，AI系统既面临传统网络威胁，如DDoS攻击和数据泄露，又面临模型可解释性不足、框架漏洞和数据标注不规范等导致的生成内容不可信问题。AI幻觉问题，以及近期DeepSeek　R1频繁遭遇境外网络攻击等案例均属于这一类别。衍生安全方面，AI技术滥用或失控可能引发法律、伦理、军事和环境风险，例如利用AI诈骗、聊天机器人诱导自杀等。　

深度伪造风险

　　开源降低深度合成技术门槛，有不法分子利用AI进行欺诈、造谣

除去幻觉问题，深度合成滥用也是AI带来的显著风险。

2024年2月，某跨国企业香港分公司财务部门的一名员工，遭遇了一场精心设计的“围猎”。他先是收到一封来自英国总部CFO的电子邮件，称总部正在计划一个“秘密交易”，需要将公司资金转到几个香港本地的账户中待用。起初，这位员工认为该邮件是钓鱼诈骗，但随后，他又收到多封讨论交易必要性的邮件，并被邀请进一个公司高管视频会议中。公司CFO和他认识的几位“同事”均出现在本次会议中。会上，这位员工被要求向英国总公司的高管进行自我介绍。随后，公司高管们讨论该项“秘密交易”，并向他发出指令，要求他立刻进行转账。该员工打消疑虑，遵循指示，先后进行了15次转账操作，将总计2亿港元转入指定账户。

约5天后，他向公司总部求证才发现并无此事，迄今为止金额最高的AI诈骗就此得手。后经警方调查得知，所谓的视频会议中只有该名员工一个人是“真人”，其他“参会人员”都是诈骗团伙通过AI深度合成技术精心制作的假象。

深度合成技术是指利用深度学习等生成合成类算法，制作文本、图像、音频、视频、虚拟场景等网络信息的技术。当利用该技术生成或编辑图像、声音、视频等内容以伪造他人身份或行为时，也被称为深度伪造技术。南都大数据研究院统计分析发现，深度合成技术是2024年度AI风险事件最大来源，占比超过30%。具体而言，与深度合成相关的违法滥用事件占比高达57.8%，虚假信息传播事件占比39.1%。

诈骗一直是深度合成技术滥用的重灾区。“埃隆·马斯克许诺高额投资回报”“好莱坞明星发出恋爱邀请”“新西兰总理鼓励投资比特币”“泰国总理被量身定做了一场外交局”……这些看似魔幻的场景，正在AI技术加持下成为“现实”，逼真的音视频蒙蔽了人们的感官和大脑，让人轻而易举放下戒心。

此外，深度伪造色情内容也频频发生，2024年5月，韩国“N号房”事件卷土重来，这次犯罪嫌疑人利用深度合成技术，将受害者的毕业照和社交媒体照片与色情图片拼接，制作出上千份色情照片和视频，通过社交软件Telegram进行传播。这种利用AI的犯罪手法成本低廉，受害者们难以察觉，更难以防范。

一方面是AI技术开源的魅力，一方面深度合成技术的滥用则在某种程度上揭示了AI技术开源的隐患。开源降低了深度合成技术的准入门槛，使其得以迅速普及并广泛应用，推动了诸多行业的变革。然而，不法分子也能够轻易操控这一工具，从事网络欺诈、侵犯隐私、造谣等违法活动。这正反映了AI发展过程中全社会不得不面临的治理难题:如何才能最大限度地释放技术潜力的同时，让其成为增进人类福祉的助力，而避免其被扭曲为牟利工具?

　　AI治理体系

　　多家企业设立伦理委员会，推动产品伦理审查

人机共存的时代已逐步到来，随着新的安全伦理问题和道德困境逐渐凸显，如何构建负责任的人工智能治理体系已成为AI发展的关键。2024年，AI风险逐渐凸显的同时，全球AI治理体系也在加速构建。

总体而言，全球AI治理正从监管和技术两个方面双管齐下。以应对深度合成技术带来的挑战为例，全球科技巨头如Facebook、百度等都在开发先进的AI算法和工具，提升对深度伪造内容的识别能力，同时，各国政府也在制定法律法规，打击AI相关违法犯罪，以约束AI技术的滥用。2024年7月，美国参议院通过了《2024年打击精准伪造图像和未经同意编辑法案》，允许私密数字伪造内容的受害者最高索赔百万美元。同年10月，韩国政府表决通过了《性暴力处罚法》修正案，持有、购入、保存或收看深度伪造淫秽影像最高面临3年监禁。我国于2023年1月施行的《互联网信息服务深度合成管理规定》，以及2024年9月网信办发布的《人工智能生成合成内容标识办法(征求意见稿)》均对AI深度伪造作出了一定规制，要求AI生成合成内容，应当添加显式标识和隐式标识。

不同主体也正积极参与进AI治理中。各国政府均在尝试基于不同的政治文化、产业发展和目标诉求等因素提出各具特点的治理方案，探索制定相应的法律和规范，建立风险等级测试评估体系和科技伦理审查制度等。行业组织也在积极制定发布人工智能相关技术标准、伦理准则、系统管理指南等，如全球移动通信系统协会推出《负责任的人工智能成熟度路线图》，以期帮助通信企业评估其负责任的人工智能成熟度水平。

科技企业作为AI技术的研发者和应用者，也在AI治理中有着关键作用。中国信息通信研究院发布的《人工智能发展报告(2024年)》指出，全球AI安全治理正处于“从原则到实践”的关键阶段。在治理实践中，多家企业设立伦理委员会，推动产品伦理审查，并制定涵盖隐私保护、公平性、透明性等内容的AI原则，以指导具体实践。技术层面，企业正发展一体化、定制化的安全方案，覆盖风险识别、评估与防御。例如，微软推出的PyRIT工具可评估大模型内容安全性，奇安信发布的AI安全整体方案则集成了安全框架、解决方案和测试工具，全面应对大模型带来的内容安全与伦理风险。

但同时，与技术突破的速度相比，科技企业参与治理力度仍待进一步提升。斯坦福大学《2024年人工智能指数报告》其中一项调查，从隐私与数据治理、可靠性、安全性、透明性和公平性等五个维度考察全球人工智能相关企业采取负责任AI措施情况，结果发现，90%的企业在相关AI风险领域采取了一项以上的缓解措施，但全面实施负责任的AI措施的企业仅占0.4%，有近八成企业只实施了小部分或完全没有采取任何措施。

2025年，人工智能技术仍在快速发展过程中，全球人工智能治理亦方兴未艾。面对AI风险的复杂性，技术研发者、应用者与监管者未来需要在多方协同中，推动AI技术朝安全、可靠、可控、公平的方向发展。　　

策划:王卫国 邹莹　

统筹:张纯 张雨亭　

采写:南都见习记者 陈袁　

数据图:欧阳静　

制图:林泳希 董淑云(DeepSeek、可灵AI)