建议立法惩罚AI造谣者

　　在AIGC技术快速迭代发展的今天，有图有视频，未必有真相。自去年AIGC爆火以来，用新技术编“伪消息”、造“假新闻”博眼球等AI造谣乱象频发，今年4月公安部公布了10起打击整治网络谣言违法犯罪典型案例，有4起涉及使用AI造谣。如何避免AI造谣乱象“野蛮生长”?近日，南都记者专访北京大学王选计算机研究所教授万小军。他表示，大多数AI造谣新闻是用AI工具“移花接木”，业界可以考虑从AI模型的入口和出口施加控制，避免谣言内容的生成。他建议从立法角度加大对AI造谣者的惩罚力度，明确AI造谣者的法律责任，“AI治理还需法治。”

　　AI拼接

　　“假新闻”用AIGC移花接木

　　“现在大多AI造谣新闻用了AI工具移花接木，是AIGC技术的一种负面应用。”万小军在接受南都记者采访时表示。AIGC技术，是指利用AI技术生成内容的技术，生成包括文字、图片、视频等多种形式的内容。

　　今年4月，公安部公布了10起打击整治网络谣言违法犯罪典型案例，有4起案件涉及使用AI造谣，造成恶劣社会影响，包括“广州限制外卖配送”谣言案，经查，是使用AI工具批量生成不实文章。公安机关依法对6名人员采取刑事强制措施。如今年5月，河南一网民尚某某在某平台发布《一场惊心动魄的“钞票大战”巴中市警民对峙引发轰动谁将成为胜利者》的图文。经查，文字由AIGC生成，图片则是在网上获取的真实图片。

　　南都记者观察上述案件及实操AI软件发现，这类“假新闻”制作逻辑均是“移花接木”:基于某一事实事件或现实场景，用AIGC技术文生文或文生图，拼接合成图文并茂的文章。而同样可以用AIGC技术，将多张文生图或网络视频片段，拼接合成声色并茂的视频。

　　万小军认为，如今获取AIGC工具途径简单，短视频平台等传播形式广泛，与传统谣言相比，用AIGC技术移花接木造伪造假新闻，具有门槛低、传播快、规模大、迷惑性强等特征。“但对于熟知AIGC的人来说，不难看出仍有AI痕迹。”他曾多次看到自媒体号发布的此类文章逻辑不顺，用图粗糙，或是用打码网图，与内容无关。“不可忽视的一点是，AIGC技术正快速迭代发展，生成的图文、视频也越来越真实。”

　　“无论是媒体还是社会，都要重视AI治理，而不是等到AIGC技术真正成熟。”万小军表示，现今市面上大多数用AIGC技术生成的视频，长度不过十几秒，场景缺乏变化，细节不够逼真，专业人士能较轻易辨认。但预计未来三到五年时间，输入几句文字口令，就能在几分钟甚至更短时间内，一键生成与现实场景无异的长视频。　　

　　AI幻觉

　　偏离用户指令“胡说八道”

　　“有研究表明大模型的‘幻觉’不可完全避免。”万小军的研究领域是自然语言生成与大模型。他坦言，AI幻觉也是如今大语言模型应用面临的问题。

　　AI幻觉，是指模型生成的内容与真实数据不符，或偏离用户指令的现象，简单来说，就是“胡说八道”。南都记者在某AI软件上提问“9.11和9.9，哪个更大”，AI给出以下答案与解答:9.11更大。因为9.11和9.9的整数部分都是9，十分位上1大于0，所以9.11更大。

　　万小军认为，AI幻觉问题是基于概率进行文本生成的必然，流畅的文本无法避免幻觉，模型缺少相关新知识，也缺乏对内容真实性与一致性的有效控制。他还表示，研究AI幻觉问题时，若过度限制大模型，切断虚假内容避免误导的同时，也限制了AI创作时天马行空的想象力，导致模型生成的内容缺乏创意。

　　AI治理

　　业界尝试用技术根治与监测

　　对于大多数普通人来说，如今AIGC生成的内容真假难辨，这无疑对媒体和公众信任度造成冲击。治理AI造谣，要走在AIGC技术成熟前。

　　据介绍，业界目前主要从两方面进行尝试，一个是根治，另一个是监测。根治，即从源头切断谣言内容的生成，通过利用训练数据质量控制、模型对齐、检索增强、拒绝回复等多种手段消减大模型生成虚假信息的可能性。“有研究表明大模型的‘幻觉’不可完全避免。”万小军表示，要根治AI谣言，从源头切断谣言内容的生成仍具有很大的挑战性，“业界已经在做研究了。”

　　业界目前还在尝试监测手段，即在互联网内容平台接入鉴别软件，实时进行数据识别比对。“这需要搭建很大的语料库。”万小军表示，这意味着，投入的人力物力将是巨大的，代价很高。“业界还在做研究，但目前情况来看效果并不理想，尤其是将算法应用到真实数据上的时候挑战很大。”

　　AI法治

　　建议培养“AI+法学”复合型人才

　　在现阶段，用技术手段治理AI造谣难度大，难实现。面对AIGC大模型应用带来新的安全隐患和风险挑战，万小军表示，“AI治理还需法治。”他建议从立法的角度，加大对AI造谣者的惩罚力度，明确AI造谣者的法律责任。“对AI造谣者的行为真正起到约束作用，离不开惩罚机制。”

　　AIGC技术越来越强大，同时也会出现新的问题。在万小军看来，这些问题的解决离不开“AI+法学”复合型人才的支撑。“基于以前的法律条款或案例难以解决AI时代新的问题。对法律法规的研究也要与时俱进，需要多个学科联合研究。”万小军表示，目前，法学生、律师、研究人员等专业人士对于AIGC还没有足够深入的了解。“从全国层面来看，已经有多个学校在加速推进此类人才培养，比如成立智慧司法这类交叉学科研究中心。”　　　　

　　●专家名片

　　万小军

　　北京大学王选计算机研究所研究员、博士生导师，语言计算与互联网挖掘研究室负责人，在北京大学获得学士、硕士与博士学位。研究方向为自然语言处理与文本挖掘，研究兴趣包括自动文摘、文本生成、情感分析、语义分析、多模态与多语言NLP等。

　　采写:南都记者 李芷琪

　　摄影:南都记者 冯宙锋

　　图片由腾讯元宝AI生成