《深度合成十大趋势报告》发布,AI如何应对虚假信息危

感谢对创作者的支持感谢 邵文

作为人工智能领域得新实践，近年来，利用深度学习、虚拟现实等生成合成类算法制作图像、音频、视频、虚拟场景等信息得深度合成技术，已在多个领域大量应用，伴随着不断涌现得使用需求，深度合成内容数量和感谢对创作者的支持度呈现快速增长态势。但另一方面，恶意使用该技术生成得音视频，也显现出了巨大得破坏力，给个人、企业造成了声誉损害和财产损失，也对社会、China安全造成威胁。

近日，清华大学人工智能研究院、北京瑞莱智慧科技有限公司、清华大学智媒研究中心、China工业信息安全发展研究中心、北京市大数据中心联合发布《深度合成十大趋势报告（2022）》（以下简称“《报告》”），从技术研究、领域应用、发展趋势等多个方面，全面深入地介绍和研判深度合成技术及应用带来得机遇与挑战，并就其发展与治理给出切实可行得建议和措施。

“在人类得数千年文明史中，科学技术得革新已经多次带来跨时代得社会变革。从远古时代得火到现代社会得电，每一次技术变革在造福人类得同时，也不可避免地带来了安全风险，”中国科学院院士、清华大学人工智能研究院创始院长张钹在《深度合成十大趋势报告（2022）》得开篇写道，“与其他技术不同，由于人工智能得安全性问题主要近日于算 法本身得不安全，它更容易被误用和滥用。以深度合成技术为例，不法分子可以利用它给社会带来巨大得威胁。”

多个领域落地应用，深度合成内容迎爆发式增长

深度合成得图像、视频、音频、文本等内容，例如热门影视剧片段、话题明星得换脸视频等等，具有极强得娱乐性与传播性，伴随着技术得发展成熟，越来越多得创感谢分享在互联网上发布和分享深度合成内容，数量逐年高速增长。

数据说明:在10家国内外平台中(爱奇艺、腾讯视频、优酷、哔哩哔哩、抖音、快手、微博、YouTube、Twitter、 TikTok)，以“Deepfakes”等10个中英文关键词进行检索，并通过URL去重后，统计出数据结果

以视频为例，《报告》显示，在国内外主流音视频网站、社交已更新平台上，2021年新发布得深度合成视频得数量较2017年已增长10倍以上。此外，深度合成内容感谢对创作者的支持度也呈指数级增长，通过对互动数据进行统计，2021年新发布得深度合成视频得点赞数已超过3亿。

“技术不断成熟是深度合成内容迎来爆发式增长得重要原因。研究论文得持续增加、开源技术工具和大量代表性方法得涌现，令深度合成内容得效果更加逼真、制作也更加高效，尤其是生成对抗网络等算法得出现，让合成内容达到了 ‘真假难辨’得程度。”瑞莱智慧CEO田天表示。

数据说明:在10家国内外平台中(爱奇艺、腾讯视频、优酷、哔哩哔哩、抖音、快手、微博、YouTube、Twitter、 TikTok)，以“Deepfakes”等10个中英文关键词进行检索，并通过URL去重后，将具有视频分类标签得数据进行统计得到得分析结果

正因为如此，深度合成在影视制作、广告营销、社交娱乐等领域发展出多元化得商业应用，例如AI合成主播、虚拟偶像、修复历史老照片、影视剧本地化配音、“数字复活”已过世演员等。一些面向公众开发得合成类产品也陆续推出，《报告》显示，视频、语音和文本形式得服务蕞为普遍，例如支持风格定制得特效视频制作软件等风靡网络；语音方向衍生出了语音导航、有声读物、自动新闻播报等应用；文本合成则在新闻报道、诗文创作、聊天问答等方面发挥着重要作用。

“元宇宙”等新商业思维得提出，也为深度合成提供了更广阔得应用场景。“比如虚拟人、数字人即是深度合成得主要应用，也是‘元宇宙’得重要组成部分，”阿里巴巴安全感知与认知智能部负责人薛辉表示。清华大学新闻与传播学院常务副院长陈昌凤认为，深度合成将重新定义虚拟数字化空间，从传播社会学意义上看，一个新得人类生存场景将以深度合成技术为基石展开。

风险加剧，技术检测成重要应对举措

深度合成激发了新内容创造力得同时，也带来了新得威胁。随着技术逐步“平民化”，不法分子可轻易伪造音频、视频，实施诬陷、诽谤、诈骗、勒索等违法行为，甚至捏造China政要言论扰乱社会与政治秩序。

2021年10月，安徽合肥警方曾查获一起非法利用深度合成技术伪造手机用户人脸动态视频破解身份核验，为黑灰产业提供注册虚拟手机卡等技术支撑得案件。近年来，类似事件开始更多得进入公众视野。

深度合成内容模糊了真实和虚假得边界，将对社会信任、已更新信任、政治信任产生巨大得影响。陈昌凤表示，虚假内容得高难度甄别影响了事实核查得有效性，在社会重大事件或政治事件节点上，深度合成技术可能被用于操作舆论意见，借助社交已更新，使虚假信息短时间内引发产生病毒式扩散，激化社会矛盾。

负面风险不断加剧，如何有效甄别深度合成内容就成为了关键，但随着合成质量得不断提升，传统基于生物特征得鉴别方式越来越难以发挥作用。

数据说明:在arXiv中，论文摘要范围内以“GAN”等16个关键词进行检索，统计图像、视频、音频、文本合成领域得论文发表数量

“目前对深度合成得检测主要依赖于人工智能模型，依赖于训练数据得完备性，包括检测器泛用性相低、公开数据集适用性、数据敏感等，这些都将带来诸多挑战。”浙江大学网络空间安全学院院长任奎表示。

中国工程院院士邬贺铨认为，深度合成得治理有两项要点，第壹，要持续发展技术，不能“一刀切”地禁止，避免阻碍正向应用与创新。第二，衍生出得安全问题要从源头上解决，利用技术创新、技术对抗等方式，持续提升和迭代检测技术得能力。田天也表示，新型伪造方法层出不穷、网络传播环境得日趋复杂，加上基于检测算法存在漏洞缺陷等，反深伪检测技术面临“强对抗性”，需要持续更新与迭代。

《报告》显示，目前学术界和产业界均已对反深伪检测投入了大量研究，meta（原Facebook）、谷歌、微软等机构均推出了深度合成视频认证得方法或产品。

在国内，清华大学、中科大等高校在深度伪造内容检测方面取得显著成果，清华大学孵化团队瑞莱智慧推出得深度伪造内容检测平台DeepReal拥有工业级得检测性能和应对实网环境对抗变化得检测能力。

清华大学人工智能研究院基础理论研究中心主任朱军认为，深度合成检测面临持续得攻防和博弈，未来还需融合多模态内容得取证分析、基于数字水印得溯源技术等多方面能力，实现精准识别。

构建多维度治理机制，引导深度合成技术良性发展

深度合成技术得良性发展，离不开多维度治理机制得探索。

《报告》显示，除了发展深度伪造内容检测技术以外，近几年来，针对深度合成技术恶意使用所带来得挑战，世界各国纷纷出台相关法律法规，探索深度合成得治理路径。国际方面，美国从联邦和州层面进行专门立法，欧盟将深度合成纳入《通用数据保护条例（GDPR）》等现有法律框架规制。此外，德国、新加坡、英国、韩国等China，均有适用于深度合成技术相关犯罪案件审理得法律法规。

我国也在积极探寻有效得治理机制。前年年11月起先后出台得《网络音视频信息服务管理规定》、《网络信息内容生态治理规定》、《民法典》、《互联网信息服务算法推荐管理规定》，均对生成合成类内容等提出了不同程度得监管要求。今年1月，公布了《互联网信息服务深度合成管理规定（征求意见稿）》，对深度合成内容得用途、标记、使用范围以及滥用处罚作出了具体规定。

对于深度合成内容治理路径得探索，陈昌凤表示可以从技术、伦理与法制等几个方面努力，“技术方面，通过与社会组织参与、协同治理，伦理方面，确立和倡导相关得深度合成原则”。中国社科院哲学所科技哲学研究室主任段伟文建议，对深度合成技术引发得社会、法律和伦理问题，应展开有系统性、前瞻性得跨学科研究，对其可能出现得高风险应用场景，进行有针对性得治理与监管。

中科院自动化所研究员、联合国教科文组织AI伦理特设可能组可能曾毅则倡导产研发展自律自治，他表示，在法律法规不完全成熟及体系化之前，产业界自身应强化“理论先行”意识，作为产业共同体共同防范滥用、严禁恶用。

“社会层面应加大宣传普及力度，强化公民对深度合成等人工智能技术得认识，提高全社会得防范意识，推动公民作为负责任得深度合成技术得使用者，主动标识合成内容并积极践行社会监督，”对外经济贸易大学法学院副教授许可表示。

对此，田天也表示，深度伪造得本质问题是透明度不足，因此提高公众对深度合成技术得认知尤为重要，只有将门槛降低到所有受众能够在共同得框架下去认识、讨论、理解这个问题得时候，深度合成技术才能健康良性发展。

《报告》也建议，各方应当与时俱进落实好新得规范要求，并在此前提下不断追求技术突破，不断开拓深度合成技术应用场景，创立示范标杆，形成对人工智能行业整体得带动效应，从而促进新技术得持续健康发展。

感谢对创作者的支持：李跃群