数字化 | 新技术会让个体身份“消融”

语音克隆诈骗和AI换脸诈骗是利用深度伪造技术实施的冒熟类新型电信网络诈骗。其原理是利用计算机神经网络技术和AI机器大样本学习，在获取潜在被害人熟人的语音片段、照片等样本材料后，将其语音、面部表情、身体动作拼接合成虚假的语音和人脸照片、视频，通过拨打电话和视频聊天的方式与被害人发生通联，冒充熟人取得被害人信任以骗取钱财。新型诈骗骗术的本质是一种技术篡改，其关键环节是通过视觉、听觉等方面的模仿和修改，实现通话、录音、图像、视频、直播等多种形式的语音替代和面部交换。声音和形象等原本专属于个体的生物特征经过深度伪造技术的“移花接木”被完整复制到仿冒身份者身上，潜在被害人通过肉眼难辨真伪，对“耳听”“眼观”调动自身感官所认可的“身份”深信不疑，因而被仿冒的“熟人”利用诈骗话术趁机取财。

在国内某实案中，境外诈骗团伙通过黑灰产购买、打骚扰电话等方式获取被害人朋友的图片、视频、声音等重要个人信息，在盗取其微信号之后，使用AI换脸技术与被害人进行微信视频聊天，向其借钱。由于声音和面部与朋友一模一样，被害人因相信其“身份”而被骗，向其提供的银行账户转账四百余万元。

AI换脸诈骗出现之后，一些防骗提示针对AI换脸需利用他人正面照片进行机器训练合成假脸的技术特点，提出了甄别视频内容真假的方法。例如，观察对方能否眨眼，诱导对方用肢体干扰面部露出端倪。然而，为了进一步达到以假乱真的效果，模糊身份的对应性，针对防范措施设计的新的技术要素被整合到AI换脸骗术中，即使潜在被害人诱导身份仿冒者做出各种身体摇晃或面部遮挡动作，也不会暴露其真实的面部形象。由此可见，随着更多开放开源的深度伪造技术被运用于诈骗骗术，冒熟类诈骗会有更多新的变化，此类诈骗的事前防范具有相当难度。

多维度的交错复刻：真实身份的逐出

表面上看，语音克隆模拟的是人的“声音”，AI换脸篡改的是人的“脸面”，实际上却是对代表着个体唯一性的“身份”的侵犯。“身份”不仅是自我的象征，也是社会化的标识，是用于识别差异性的个体最重要的主体特征集合。在人类社会中，对于他人的身份，人们只能作为对象的“他者”予以直观，而不能冒用和顶替。这是因为：第一，“身份”产生于特定的时空中，专属于某人的日常生活环境和经历是个体的“具身”所在，这是时空属性上的不可侵犯。第二，“身份”是与具有人身专属性的人的若干生物特征绑定在一起的，这是生物属性上的不可侵犯。第三，“身份”不仅是物质的，也是精神的，个体心理决定了他人在大多数时候难以接受和无法彻底理解有别于自己的另一个“身份”背后的主体，这是精神属性上的不可侵犯。

然而，在人工智能社会和赛博空间里，关于个体化存在的固有认知被赋予了更多的可能性。首先被打破的是“身份”的时空属性，非接触式犯罪总是发生在参与者所构想和认同的地理空间和历史时间中，足够细节化的描述能够掩盖实存的时空“凭据”；接续被突破的是“身份”的生物属性，AI技术的滥用绕开了个体对自身“唯一”的生物特征的统摄关系，被完整复制的特征集合从唯一性的个体中自由释放，成为一个被完全复刻的“主体”；最后被消解的是“身份”的精神属性，冒熟“身份”背后的诈骗犯罪人加上以自然逻辑为机器逻辑的AI，以及虚假的环境和情境，可以重组一个身份被冒充者的惯常思维系统，诈骗分子抓住其主体性的既定特征和思维属性，在特定的时间内向潜在被害人展示他所熟悉的这一“身份”，为了增强说服力和证明力，随时可以通过人机互动和面部交换扩展性地满足潜在被害人对熟人“身份”进行感官探知的需要。通过这“三重”破解术，植根于赛博空间的深度伪造技术被作为电信网络诈骗的犯罪工具，织构出一个交错着技术、生物、文化等多个维度的人的关联性特征的“身份”系统，复刻出虚假的熟人“主体”，而真正的个性化“身份”却被逐至虚构事件之外。

新技术具有复杂的道德意蕴

深度伪造技术促成了潜在被害人错误的社会认知与信息决策，技术对于新型犯罪既遂的重大影响和作用不仅是充当了被犯罪所利用的工具，还是与之深度结合且浑然一体。按照技术工具论的视角，语音克隆和AI换脸技术是被不法分子利用作为实现非法目的的犯罪工具或手段，它们本身是中性且无害的，应受谴责和规制的是使用工具的违法犯罪主体。然而，深度伪造技术作为一种人工产物，与刀、枪、毒药、爆炸物等在具体案件中成为侵害工具的“物”不同，新型技术被滥用所产生的后果更加难以预料，不仅是技术具有不断升级和演变的可能性，还在于它能促成未来更多新型犯罪行为的塑形，产生难以估量和控制的使用风险，因为新技术能够被用于个体身份的“消融”。

人作为社会的基本单元，身份认同的取消和角色替换将会使每一名社会成员产生自我迷失的焦虑，社会职责、人际信任和个体归属更是无从谈起，整个社会的正常秩序可能受到严重冲击。所以，要将技术的责任从工具的中性价值中剥离，反而不利于厘清技术所具有的复杂的道德相关性及其作用。实际上，承认技术的使用者具有决定行为性质的主观能动性并不能替代新技术本身所蕴含的道德调节能力。换句话说，新技术也具有复杂的道德意蕴，在其充当工具的过程中，所引起的风险事件本身的道德性、不法性被分散到了作为使用者的“人”与作为工具的“非人”之中。虽然不能直接表述作为客体的深度伪造技术具有人特有的道德性，但它具有道德相关性的面向，这体现在语音克隆和AI换脸更容易沦为犯罪技术，产生令个体身份逸失和混同、社会秩序紊乱的消极作用上，并且这种新技术的道德意向性无须分辨，从其直接导致的严重问题就能观察到它的性质本身就隐藏着巨大的风险。

在针对新技术滥用的信息安全技术屏障建立起来之前，应当严格规制这一类高风险新技术的联网应用，以防止潜在被害人与新技术交互时，在尚未对诈骗话术的“心理控制”和“洗脑”产生适应性或排斥性时，就受到被篡改的虚假身份的“蛊惑”而做出瞬时响应。这会导致电信网络诈骗公安预警机制和反“洗脑”策略完全失去发挥作用的时机。总之，技术策略只有能够被调试到最大限度降低新技术生成虚假信息所带来的社会风险，制度保障能够充分守护人民群众的个体“身份”安全，才能证明新技术的道德相关性更加倾向于促进犯罪防范的目的，而不是成为易于犯罪的手段，高风险新技术必须要在成熟的风险控制机制的支持下才能得以广泛适用。

文章为社会科学报“思想工坊”融媒体原创出品，原载于社会科学报第1865期第6版，未经允许禁止转载，文中内容仅代表作者观点，不代表本报立场。

本期责编：宋献琪

拓展阅读

数字化 | 大语言模型需要克服诸多关键问题

人与机 | 记忆、知识与生命节奏