生成式人工智能深度伪造检测：为何法律和技术层面必须协同合作

2024年初，工程公司奥雅纳的一名员工批准了一项 25万美元转会 在与她以为是资深同事的人进行了一次视频通话后，她发现这些人全都不是真人。通话中每个人的脸、每个声音都是通过人工智能生成的深度伪造图像，而银行汇款在任何人意识到这次会议从未发生之前就已经完成了。.

如果你在受监管的企业负责反欺诈、KYC（了解你的客户）或客户注册流程，那么奥雅纳的案例并非个例。它预示着，当检测工具的反应速度落后于攻击模型时，生成式人工智能会如何识别证据。

生成式人工智能深度伪造技术利用现代扩散或多模态模型生成合成音频、图像或视频，旨在模仿特定真人。与2019年GAN时代的伪造视频不同，这些输出几乎不包含早期检测器所训练的可见特征。再加上低成本的云端推理和消费级换脸工具，检测问题已不再是实验室练习。

监管方面也在发生变化。 欧盟人工智能法第50条该法案将于 2026 年 8 月 2 日生效，要求部署用于生成深度伪造内容的 AI 系统的机构披露该内容是人工生成的（欧盟人工智能法案第50条，生命未来研究所单靠技术检测是不够的。团队真正需要的是一个分层框架，该框架将运行时生物特征信号与源头内容溯源以及法律披露保障相结合。本文将详细介绍该框架的工作原理及其对评估方式的影响。 身份验证 ！

为什么生成式人工智能打破了传统的检测模式

在过去十年的大部分时间里，深度伪造检测器都在寻找生成模型留下的细微痕迹。例如，不规则的眨眼、不一致的皮肤纹理、面部光照不均，以及训练数据稀少区域耳垂的变形。当你的反欺诈团队成员说某张自拍“看起来不对劲”时，他们通常就是在无意中发现了这些蛛丝马迹。

现代生成式人工智能已经抹去了其中大部分技术。扩散模型生成的皮肤纹理在像素级检测下看起来非常逼真。语音克隆系统仅需几秒钟的音频就能捕捉到语调和呼吸。换脸流程现在可以在视频流中实时运行，而不是像以前那样使用预渲染的片段。 联合国教科文组织 关于合成媒体的论文将这种转变称为“认知危机”，因为我们过去信任的人工制品已经消失了。

三项具体变化至关重要 KYC 以及反欺诈团队。

首先是易用性。过去需要GPU和一周时间精心调校的换脸工具，现在只需在浏览器中即可运行。诈骗分子无需掌握机器学习技术，就能制作出足以以假乱真的换脸视频。

其次，攻击面发生了变化。虚拟摄像头软件允许攻击者将预先录制或实时生成的视频流注入验证流程，完全绕过手机的实际摄像头。这是一种注入攻击，不会触发仅RGB模式的检测。 活性检查 这假设像素来自真实的镜头。

第三，检测技术的保质期缩短了。基于去年深度伪造视频训练的分类器，与今年的模型相比，其检测能力明显下降。 2024 NIST GenAI 试点研究表明，检测准确率能够抵御摘要式攻击，但模型漂移是任何已部署检测器都面临的潜在风险。

新兴的法律框架以权利为基础，而不仅仅是技术性的。

监管机构已不再将深度伪造技术仅仅视为一种欺诈类型。新的框架更接近于人权问题，即合成媒体威胁到身份、声誉和知情同意。近期发表在《国际法律、犯罪与司法杂志》上的一篇同行评审论文正是论证了这种转变的必要性，并提出了一个法律框架来处理…… 深度检测 将其视为一项权利保护义务，而非平台功能。

欧盟人工智能法案第50条是第一个硬性规定。自2026年8月2日起，部署用于生成或操纵构成深度伪造的图像、音频或视频内容的人工智能系统的机构必须披露该内容系人工生成。该条款还要求对合成输出进行机器可读标记，并在用户与人工智能系统交互时告知用户。豁免范围很窄，仅涵盖合法的刑事调查以及明显具有艺术性或讽刺性的作品。

欧盟委员会一直在通过其《人工智能生成内容标记和标签行为准则》制定实施细节，最终版本预计将于2026年6月发布，赶在《里斯本条约》第50条生效之前。对于反欺诈或合规团队而言，实际意义在于，从该日期起，“我们无法判断它是假的”将不再是受监管的客户注册流程中有效的抗辩理由。

另一块拼图是内容来源。 C2PA 由内容溯源与真实性联盟 (C2PA) 制定的标准定义了媒体文件如何携带防篡改元数据，包括文件的创建者、使用的工具以及编辑方式。C2PA 并非深度伪造检测器，而是历史记录。结合深度伪造检测功能，当提交的内容通过验证流程到达时，C2PA 可以为团队提供两个独立的信号进行交叉核对。

面向 KYC 和欺诈团队的三层检测模型

应对生成式人工智能深度伪造技术的持久有效方案并非单一的更智能的分类器，而是多层防御，因为任何一层都无法单独奏效。

第一层是运行时生物特征检测。它涵盖了摄像头在验证过程中实时产生的信号。频域分析可以捕捉到在RGB视图中不可见但在图像变换后显现的伪影。3D深度和视差检查可以确认三维人脸的真实存在。行为线索，包括微动作和对被动提示的反应，可以将真人与重放或注入的视频流区分开来。一个设计完善的活体检测层不仅可以检测打印照片和屏幕回放，还可以检测来自虚拟摄像头的注入攻击。

第二层是内容溯源。当提交的内容带有 C2PA 凭证时，验证系统可以检查内容的签名者、使用的相机或编辑工具，以及元数据自创建以来是否被篡改过。徕卡、三星和谷歌已开始在消费级硬件上提供原生 C2PA 签名功能，因此带有凭证的媒体不再是纸上谈兵。没有凭证的提交内容并非一定存在欺诈，但缺少凭证本身就是一个值得纳入风险评估的信号。

第三层是人工审核加上法律披露保障。混合人工智能和人工审核可以处理自动化置信度较低的特殊情况，并将模棱两可的会话转交给训练有素的审核员，而不是强制做出非此即彼的选择。一旦第50条披露义务生效，法律层就成为架构中可强制执行的一部分。本应标记但未标记的内容会构成有记录的违规行为，从而加强那些已尽到合理注意义务的企业的立场。

合规与反欺诈团队的实用后续步骤

对您当前的一些情况，值得进行以下几项检查。 身份验证 在第50条生效前堆叠。

询问供应商，他们的活体检测模型是否能检测虚拟摄像头注入攻击，而不仅仅是打印攻击和屏幕重放攻击。询问检测结果是否经过政府机构或独立机构的验证，而不是供应商自有实验室的验证，因为供应商自行报告的准确率在应对当前攻击手段方面记录不佳。确认对于自动置信度较低的会话，是否存在审核流程，因为完全自动化的人工智能生成攻击决策正是合法欺诈得以蒙混过关的手段。

现在就让您的入职信息披露语言与第 50 条义务保持一致，而不是等到 2026 年 7 月再进行修改。6 月份发布的《行为准则》文本将详细说明，因此请在文案审核周期中留出时间将其纳入其中。

生成式 AI 深度伪造技术已经融入到实时验证流程中，而“我们的活体验证通过”和“我们验证了真人”之间的差距，正是像 Arup 案例这样的损失的根源所在。 Shufti 的深度伪造检测 结合了跨越 56 个以上攻击向量的多层反欺骗技术、混合人工智能和人工审核、主动和被动活体检测，以及本地、云或混合部署。 预约演示 将生成式 AI 深度伪造样本输入流程，看看结果如何。