人工智能（AI）生成合成内容的逼真程度已经让普通人难以辨别。多方人士曾提议，加快规范AI生成合成内容。“内容标识”是目前国际上较为通用的做法。
日前，国家网信办起草的《人工智能生成合成内容标识办法（征求意见稿）》（以下简称《办法》），面向社会公开征求意见。新京报记者注意到，与之配套的强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》（以下简称《标识方法》）同步在全国标准信息公共服务平台公开征求意见。
真假难辨，“AI换声”“AI换脸”诈骗案件量正在增加
《办法》拟规定什么？简单来说，AI生成合成的内容要在显著位置作出标识，也就是要给它们打上“专属水印”。
给AI生成合成内容打水印为何如此重要，需要单独出台文件加以规制？受访者认为，这与AI应用带来的虚假宣传、欺诈等社会风险有着直接关系。
生成式人工智能的应用落地不过是近两年的事情，然而利用AI实施诈骗、侵权等违法犯罪的数量正在快速增加。记者注意到，多地公安机关曾发布过相关提醒，司法机关也发布了多起利用AI实施犯罪的典型案例。部分案例经由媒体报道和平台传播，引发不少人的担忧甚至是恐慌。
“AI诈骗正在全国爆发”的词条一度登上热搜，一时讨论声四起。据浙江省科普联合会发布的文章，AI诈骗的类型包括：语音合成诈骗、视频/图像合成诈骗、聊天机器人诈骗、数据操控与伪造。其所依托的技术主要为自然语言处理和机器学习。
上述前两种类型便是很多人听说过的“AI换声”“AI换脸”。《办法》提出，对于AI生成合成的音频，在起始、末尾或中间适当位置添加语音提示或音频节奏提示等标识；AI生成合成的视频，在起始画面和视频播放周边的适当位置添加显著的提示标识，可在视频末尾和中间适当位置添加显著的提示标识。对于AI生成合成的文本、图片等信息，《办法》也拟作出相应规定。
除了上述可被用户明显感知的显式标识，《办法》还拟对隐式标识的添加予以明确，提出服务提供者在生成合成内容的文件元数据中添加隐式标识，隐式标识包含生成合成内容属性信息、服务提供者名称或编码、内容编号等制作要素信息。
《办法》拟作何具体规定？解决什么问题？
具体来说，《办法》拟对服务提供者、网络信息内容传播平台的服务提供者、互联网应用程序分发平台、用户分别规定相应的责任义务。
公开征求意见的通知。图源国家网信办官网
北京大成律师事务所高级合伙人肖飒解释，服务提供者即利用生成式人工智能技术提供生成式人工智能服务，利用算法技术提供信息服务、深度合成服务的组织、个人。
对服务提供者，《办法》提出在生成合成内容时主动添加显式标识或隐式标识，执行强制性国家标准；在用户服务协议中明确说明生成合成内容标识的方法、样式等，并提示用户仔细阅读并理解相关的标识管理要求。
对于提供网络信息内容传播平台的服务提供者，如AI聊天网站，《办法》特别提出，在处理和核验生成合成内容时，平台需要承担核验标识的责任。
对于互联网应用程序分发平台，如应用商店，《办法》提出，在应用程序上架时，应当核验服务提供者是否按要求提供生成合成内容标识功能。
用户在上传生成合成内容时，应当主动声明并使用平台提供的标识功能作出标识，不得恶意删除、篡改、伪造、隐匿生成合成内容标识。
西南政法大学科技法学研究院副院长、教授郑志峰认为，通过规范标识可以帮助公众准确区分AI生成合成内容与人类创作内容，提升信息透明度，维护信息生态的真实性，保障公众的知情权。通过标识还可追溯生成内容的来源，明确责任主体。
他指出，通过标识内容可以降低虚假宣传、欺诈等社会风险。肖飒同样指出，AI生成合成内容可能被用于制造社会恐慌、传播谣言或实施其他非法活动，通过强制标识，可以有效地控制这些行为，维护社会稳定。
2022年以来，国家网信办等部门发布的文件中，相继明确对符合要求的AI生成合成内容作出标识，为何还要单独制定《办法》？
郑志峰指出，之前的文件只是作出原则性要求，没有深入讨论具体的标识方式、范围和技术标准。在此背景下，《办法》的进一步规定可以消除标识标准的模糊性。具体来说，《办法》主要明确责任主体和义务，《标识方法》则提供具体操作细节。
“这种双重保障机制将确保标识要求不仅有依据，还有技术执行路径，具备可操作性，确保规定真正落地，而不只是停留在表面要求上。”郑志峰向记者解释。
此举能防范日益突出的AI诈骗吗？
《标识方法》这一强制性国家标准拟明确各类AI生成合成内容的具体标识方式。其中，视频内容的显式标识应采用文字提示。
具体而言，应同时包含人工智能要素——含“人工智能”或“AI”，表明使用人工智能技术；包含生成合成要素——含“生成”和/或“合成”，表明内容制作方式为生成和/或合成。
视频内容显式标识示例。图源《标识方法》
音频内容的显式标识应采用语音标识或音频节奏标识。语音标识应同时包含人工智能要素——含“人工智能”或“AI”，表明使用人工智能技术；包含生成合成要素——含“生成”和/或“合成”，表明内容制作方式为生成和/或合成。
音频节奏标识应为“短长 短短”的节奏。《标识方法》注释称，“短长 短短”节奏为“AI”的摩斯码表示。
音频内容显式标识示例。图源《标识方法》
以“AI换脸”诈骗为例，肖飒分析，根据《办法》和《标识方法》要求，潜在受害人应该能够在视频中看到显著标识，提示该视频是AI生成合成内容。
具体来说：视频中可能会有明显的文字提示，如“本视频为合成内容”，或者视频角落处有明显的标识符号，如“人工智能生成合成”；标识应当放置在视频的显眼位置，如角标、横幅等，以便用户一眼就能注意到；标识的颜色和字型应当足够醒目，以便与视频背景区分开；如果视频支持交互功能，在用户尝试播放或下载视频时，系统可能会弹出提示框，告知用户该视频是AI生产合成的。
“从效果来看，可以预测，《办法》和《标识方法》的实施有助于提高AI生成合成内容的透明度，降低老百姓遭AI诈骗的风险。”肖飒告诉记者。
郑志峰认为，标识可以起到区分人机界限的作用，同时具有警示功能，提醒用户慎重对待AI生成合成内容，避免上当受骗。“当然，标识的作用也是有局限性的，无法应对所有的问题。例如，AI生成合成内容是否侵犯他人的著作权、人格权，并非标识可以解决的。”
专家建议：明确未履行标识义务的责任规则，特别是民事侵权责任
《办法》第13条拟规定，未对AI生成合成内容作出标识造成严重后果的，由网信等有关主管部门按照有关法律、行政法规、部门规章的规定予以处罚。
郑志峰指出，《办法》拟作出的责任追究规定较为笼统，责任机制不够完善，没有明确未履行标识义务的责任规则，特别是民事侵权责任。
“《办法》仅规定‘未对生成合成内容进行标识造成严重后果的’依法进行处罚。但对第10条所涉及的使用者的行为，未规定惩罚措施。”肖飒指出，有的使用者恶意滥用AI生成合成内容，通过不正当标识手段损害他人合法权益、散布虚假信息，建议补充处罚措施或列明可供援引的其他法律规范。
此外，郑志峰提出，标识适用于AI生成合成内容，对于人机协作生成合成的内容是否适用并不明确。例如，AI生成一首唐诗，用户对内容作了很小的修改，是否需要标识并不清楚。
总的来说，内容标识是防范生成式人工智能应用风险的重要一步，有助于提高透明度，帮助用户识别AI生成合成内容。
“但这只是多层次防控体系的一部分。”肖飒认为，要想真正规避风险，还应细化法律法规，建立行业自律标准，如明确界定法律责任，特别是版权、隐私保护等问题；推动行业自律，建立统一的技术标准和伦理准则，引导企业合理合法使用AI技术。
在郑志峰看来，当前我国人工智能立法呈现明显的场景化特征，如关注自动驾驶、人脸识别、生成式人工智能、深度合成等具体场景，且立法的级别不够高。
“随着我国人工智能产业的发展，人工智能立法储备的丰富，制定一部《人工智能法》的契机已经成熟。相较于分散的部门规章，《人工智能法》可以系统明确人工智能各方权利、义务、责任，建立起覆盖人工智能全生命周期的、统一的监管规则，避免场景化立法存在的重复立法和监管盲区问题，具有更强的适应性。”郑志峰认为。
新京报记者 行海洋
编辑 张牵 校对 张彦君