AI生成内容以假乱真如何甄别？网信办新规公开征求意见，专家：防范AI造假风险

近日，国家网信办公布了《人工智能生成合成内容标识办法（征求意见稿）》（以下简称《征求意见稿》），并面向社会公开征求意见，意见反馈截止时间为10月14日。

《征求意见稿》提出，人工智能生成合成内容是指利用人工智能技术制作、生成、合成的文本、图片、音频、视频等信息。人工智能生成合成内容标识包括显式标识和隐式标识。网络信息服务提供者应当按照有关强制性国家标准的要求进行标识。服务提供者提供生成合成内容下载、复制、导出等方式时，应当确保文件中含有满足要求的显式标识。提供网络信息内容传播平台服务的服务提供者应当采取措施，规范生成合成内容传播活动。包括提供必要的标识功能，并提醒用户主动声明发布内容中是否包含生成合成内容等。

▲国家网信办发布的征求意见通知（部分截图）

专家认为，这一规定的出台既能有效规避AI造假，也将推动AI生成内容检测算法的发展。律师表示，目前已有不少AI生成内容带来的刑事案件和民事纠纷，新规能有效遏制侵权行为。有AI创作者认为，新规的出台将对生产“深伪”内容的创作者带来冲击。

专家：

防范AI内容造假潜在风险

推动AI生成内容检测算法发展

南开大学人工智能学院教授刘杰认为，这一规定的出台非常有必要，因为如今AI生成的文本、音频、视频的逼真程度、自然程度越来越高，网络上传播的AI内容已经很难去辨别真实性。有人刻意传播一些AI伪造的事件、人物讲话时，会对公众造成误导。新规要求AI内容添加标识，是对这些潜在问题的防范。

在《征求意见稿》中，对提供生成服务的平台和发布平台都提出了要求，通过双层机制，确保每一个生成内容都能被合理地标识出来，保证内容安全，避免误导。如今AI生成内容快速发展，带来了新的产业变化，在此场景下，有必要出台相应规定来保障技术的合理应用和行业的健康发展，避免不当信息的传播影响整个行业的发展。

▲资料图片 图据图虫创意

刘杰告诉红星新闻，按照新规的要求，生成内容的平台需要有相关技术来添加相应标识，内容传播平台也需要能够检查到内容中是否存在相应标识。对于没有标识的AI生成内容，传播平台也需要有一套精准的算法来进行判别。这对算法有很高的要求，新规的出台将推动AI生成内容检测算法的发展。

刘杰认为，目前的AI生成内容识别规定在执行层面可能会面临一些问题。比如在生成环节添加的显式、隐式标识，可能会被人为删除；AI生成内容和真实内容混合存在时，应当如何标识等。

刘杰还提到，AI生成内容以假乱真的能力和对生成内容检测算法的能力是一个长期互相竞争发展的过程。在这个过程中，难免会出现部分AI生成内容无法被精准识别的现象，可能会对浏览这些内容的用户造成困惑。

有创作者称“深伪”内容生产者将受冲击

律师：新规能有效遏制侵权

AI领域创作者“土豆人”告诉红星新闻，他非常支持这一标识规定的出台。一方面AI生成内容以假乱真、难以识别，另一方面大量数字仿品的出现对创意产业破坏很大，版权保护跟不上技术进步的话，会影响整个行业的生态。但他也担心，AI内容在未来生活中几乎无处不在，过度标注可能会干扰用户认知，对AI技术产生抵触。

“土豆人”认为，对于他们这种带有明确AI创作者标签的人来说，这一规定的影响非常有限，真正受到影响的是那些生产“深伪”内容的创作者，强制标识后将明显影响他们在各个平台的传播效果。

北京天元律师事务所合伙人律师、“AI著作权第一案”当事人李昀锴告诉红星新闻，未来这一强制标准出台后，将要求所有工具、传播平台都要有标注义务，能有效遏制AI滥用现象。一方面能方便社会公众进行明确辨别区分，另一方面在AI内容出现问题后有利于监管者进行追溯调查。

李昀锴表示，目前已经有不少因AI生成内容导致的直接或间接纠纷。利用AI伪造内容进行的诈骗案件已经发生过多起，强制的标识可以方便主管机关追溯欺诈主体，也能追查哪些平台在监管上存在问题。在民事领域相关问题也很多，比如学生用AI生成论文，带来学术不诚信、影响学习研究能力等问题；比如公司、平台购买一些创作内容，往往是基于人工制作进行的定价，但会面临创作者用AI生成“糊弄了事”。目前，对于这类问题购买者缺乏识别和举证的手段，未来如果强制性的标识得以推广，能有效遏制这种侵权行为。

李昀锴认为，这条新规本质上是压实平台的合规义务，增加平台的合规成本和投入，传播平台也要加强审核和提示。目前，不少大的传播平台都会对AI生成内容进行识别，并提示用户疑似AI内容。但这是基于大平台的高标准意识，并没有强制性，未来国家标准的发布能够强制全面推行，会要求所有平台都要提高合规管理的措施和技术。

红星新闻记者 付垚 实习记者 刘亚洲

编辑 张莉 责编 官莉