已处理93万条低质AI内容！整治AI造谣，平台有何新招？

“当技术普惠与人性弱点结合时，我们正面临一场前所未有的认知战争。”清华大学新闻与传播学院副教授陆洪磊这样说道。

2月24日，今日头条“平台治理开放日”活动在北京举办，相关业务负责人与学界专家围绕网络虚假谣言、同质化发文、AI低质内容等领域的安全治理问题进行了深入讨论。

平台治理开放日活动现场

根据今日头条相关负责人介绍称，截至2024年底，今日头条累计清理虚假谣言超过500万条，处罚涉造谣的账号超过4.7万个；平台累计拦截和处置涉嫌诈骗内容超200万条，禁封涉嫌诈骗账号178,507个，配合警方抓捕87人。

此外，在人工智能高速发展的当下，低质AI内容也成为平台内容治理的重中之重。据悉，2024年，今日头条对超过93万条低质AI内容进行了处理，处罚了近3万个利用AI批量发布虚假、低质内容或恶意抄袭、洗稿的账号。

AI谣言成本低廉、倍速传播

西藏日喀则地震期间，一张由AI生成的“儿童被废墟掩埋”的图片被大量传播，引起网友广泛关注；2024年10月，一则标题为“大妈摆摊卖水果被罚16万，监管局回应不交就罚145万”的文章在网络上流传，后被警方发现是一家自媒体公司利用AI炮制而成。

清华大学新闻与传播学院副教授 陆洪磊

清华大学新闻与传播学院副教授陆洪磊在活动现场指出，谣言本身就是一种特殊的舆论形式，在AI技术的加持下，AI谣言能够实现分平台、分渠道、分时段、分媒介地定制化生成和发布，影响巨大。

在速度上，AI谣言由于其低廉的成本，短时间内便可以成倍率传播，辟谣难度大大增加；在结构上，AI谣言本身具有自我学习和自我强化的特点，彼此交叉、共振放大，加剧了AI幻觉，让AI谣言本身显得更加无懈可击。

陆洪磊还提到，AI谣言的传播力之所以如此强大，本质上遵循了“语境适宜+主体持续+情绪投射+治理困境”的传播链条。也就是说，AI谣言的传播需要适合谣言传播的网络语境，同时需要原始传播者、二级传播者、多级传播者和意见领袖在各个环节中的持续输出，加之它迎合或符合当下社会心理、个体心理产生的响应情绪投射。

北京师范大学法学院教授、院长 梁迎修

如何有效治理网络谣言？北京师范大学法学院教授、院长梁迎修建议提高惩罚力度。“如果说传播网络谣言付出的法律成本非常低，远远低于收益，即便你最后追究了他的责任，依然遏制不了网络谣言的编造和传播。”梁迎修说。

梁迎修还提出，随着AI技术的发展，AI虚假谣言层出不穷，增加了甄别和治理难度，也加快了谣言的传播速度。但也可以利用AI技术这项新工具，在谣言内容识别、路径追踪和自动化辟谣等方面“用魔法打败魔法”。

累计清理虚假谣言超过500万条

2月21日，中央网信办发布了2025年“清朗”系列专项行动，将聚焦8项整治任务。在整治AI技术滥用乱象方面，突出AI技术管理和信息内容管理，强化生成合成内容标识，打击借AI技术生成发布虚假信息、实施网络水军行为等问题，规范AI类应用网络生态。

在今日头条这样一款集文字、图片、视频于一体的综合信息内容平台，又该如何区分AI生成的虚假信息和AI辅助的原创内容呢？今日头条相关负责人告诉南都记者，今日头条构建了一套严谨且智能的内容管理体系，依托先进的特定模型，能够精准识别平台上所有由 AI 手段生成的内容。此外，在识别的基础上，平台还会进一步综合考量此类内容的负面评价、举报量级等多维度特征，对存在潜在风险的 AI 生成内容进行人工审核，确保内容的质量与合规性。

对于虚假谣言信息，今日头条制定了严格且细致的处置标准。无论是借助 AI 技术编造的谣言，还是作者主观编造的不实内容，一经发布，平台会迅速启动严格的处罚流程——包括但不限于内容下架、账号限流等措施。同时，平台还会通过技术手段和人工干预相结合的方式，阻断谣言的二次传播路径，维护平台的信息生态健康。

不仅如此，今日头条还建立了谣言库、权威信源库以及专业审核团队，并于2024年在发文下方增加权威媒体报道来源标签，在保障资讯真实性的基础上，为用户提供了更多客观视角。据相关负责人现场披露，2024年，今日头条累计清理虚假谣言超过500万条，处罚涉造谣的账号超过4.7万个；对超过93万条低质AI内容进行了打压，对近3万个利用AI批量发布虚假、低质内容或恶意抄袭、洗稿的账号进行了处罚。

“一方面要消灭假的信息，另一方面更要主动传播真的信息，这也是我们团队最重要的工作之一。”上述负责人说。

采写：南都记者王子黎 发自北京