被「偷走」的臉

2023-07-12   剝洋蔥

原標題:被「偷走」的臉

「聲音是我媽的,我不可能聽錯。號碼是我媽的,我不可能看錯。」報警後,他才從警方那裡得知,這是一種新型的詐騙方式,詐騙團伙利用技術合成了母親的聲音,又使用技術複製了一串和母親號碼完全一樣的虛擬號碼打來電話。

2023年6月2日,網際網路上售賣的AI換臉軟體頁面。據媒體報道,近日,因「AI換臉」導致的詐騙案件引發關注。圖/IC photo

文丨新京報記者 汪暢

實習生丨鄒冰倩

編輯丨陳曉舒

校對丨賈寧

本文 7449閱讀 13分鐘

視頻里那張臉正對著鏡頭,幾乎不動,臉上的表情和平常沒什麼不一樣。

7秒視頻通話後,濟南人方楊宥就給對方指定帳戶轉了30萬。等到報了警,他才知道,原來視頻里那張熟悉的臉是「假」的,螢幕另一端根本不是自己的親戚,而是詐騙人員利用AI技術合成的影像視頻。

這樁發生在今年5月的AI詐騙事件,並非孤例。山東省商河縣公安局刑警大隊中隊長張振華向新京報記者介紹,隨著深度合成技術的開放開源,深度合成產品和服務逐漸增多,利用「AI換臉」「AI換聲」等虛假音視頻進行詐騙、誹謗的違法行為日益增多。此前,已有哈爾濱、福州等多地警方通報過有關AI換臉的詐騙事件。

北京市社會科學院法治研究所副所長、副研究員王潔長期從事反電詐研究,他認為,步入人工智慧時代,人臉和聲音已經成為一種亟須保護的信息。然而當下隨著AI技術發展,利用AI換臉技術進行詐騙、造謠、侵犯肖像權或智慧財產權的行為屢屢發生,這意味著技術正被濫用,人臉這一重要信息極易「丟失」。

AI實時換臉技術發展的同時,也在迅速「平民化」。新京報記者調查發現,AI實時換臉技術在多個平台以百元左右的價格售賣,其中一位商家表示,368元便能購買其自己研發的實時換臉程序,50年內可以無限次使用。可觀的利益驅動著AI灰色市場的發展,有商家自稱月收入高達20萬元,他宣稱自己什麼視頻都能做,任意將一張臉換至色情視頻里,也僅需150元一分鐘。

「我們的未來一定是會和AI共存共生長的」,王潔說,這意味著人類也將和AI相關的侵權事件共生共存。如何讓技術向善發展,成為當下一個非常重要的問題。

AI騙局

視頻連線只持續了7秒,看著螢幕里那張熟悉的臉,聽著手機傳出熟悉的聲音,方楊宥相信了這個剛剛添加自己為好友的新帳號所說的——他確實是自己的親戚,30萬元就這樣轉帳到了對方提供的銀行帳戶上。

「結果一切都是假的。」2023年6月底,商河縣公安局刑警大隊中隊長張振華向新京報記者介紹了這個案子,「這就是近期流行的『AI詐騙』,一種利用智能AI技術實施詐騙的詐騙手段。」

事情發生在今年5月29日。濟南人方楊宥在家刷短視頻時,突然收到一條陌生人發來的消息。對方自稱是方楊宥的親戚,他發來一串新的QQ號,希望方楊宥添加。剛一加上好友,對方就給方楊宥撥來視頻電話,7秒的視頻連線有些卡頓,但那張熟悉的臉和那個熟悉的聲音,讓方楊宥相信確實這就是自己的「大哥」。

沒說幾句話,對方就以網絡質量不好為由,將視頻掛斷。在隨後的文字聊天中,這位「大哥」稱自己急需轉一筆錢,但沒法直接打款,想要先轉帳給方楊宥,然後拜託他幫忙轉到指定的銀行卡里去。

「那邊急用,你現在馬上安排過去。」兩張成功轉帳的截圖是發來了,可方楊宥一直沒收到這筆款項。「大哥」將原因「甩鍋」給銀行,「那應該就是24小時到了,銀行的信息不會錯。」以著急用錢為由,「大哥」反覆催促方楊宥先行墊付。

經不住一再催促,方楊宥向其指定帳戶轉帳了30萬元。沒過多久,對方又讓方楊宥再轉35萬元。這時,方楊宥猛然想起曾經看過的反詐宣傳,趕緊打電話給自己的親戚,這才知道,一切都是假的。

濟南人方楊宥遭遇的AI詐騙,7秒視頻後,他給對方指定帳戶轉帳30萬元。來源:「濟南公安」微信公眾號

當晚,方楊宥便報了案。根據轉帳卡號的流水,張振華和同事們發現該銀行卡在廣東的一家金店有過消費。次日,商河刑警便奔赴廣東東莞,抓獲了犯罪嫌疑人謝某等三人。之後,又有三名犯罪嫌疑人被警方抓獲。

在後續的調查中,警方發現,這起AI詐騙真正的源頭在緬北。境內的這夥人,是一個專門幫助境外詐騙分子進行洗錢的犯罪團隊,他們分工明晰,買金、打款、對接上線等都由不同的人操作。目前他們因涉嫌幫信罪,正在接受後續調查。

事實上,利用AI技術進行詐騙的案例已在全國多地發生。王潔第一次知道AI詐騙,是在2019年,當時一位留學生看到詐騙人員利用技術合成其父母的視頻之後,便信以為真。此前,已經有哈爾濱、福州等多地網警通報過有關AI換臉的詐騙事件,他們的手段並非完全相同。

5月20日,包頭市公安局的官方微信公眾號「平安包頭」發文稱,今年4月,因犯罪團伙使用AI換臉技術,通過視頻聊天的形式獲取了受害者的信任,使其在10分鐘內給騙子的指定帳戶打去430萬元。受害者報案後,包頭市警銀聯動,成功緊急止付涉嫌電信詐騙資金330多萬元。

6月15日,「大連市銀行業協會」的官方微信公眾號也發文稱,詐騙人員獲取了一位男士的身份證影像信息後,通過AI技術手段合成了短視頻,並使用該視頻成功應對了銀行大額資金轉帳時的人臉識別驗證,將其卡中的定期存款銷戶,隨後轉出部分資金。好在這位男士對銀行非櫃面渠道設置了日累計交易限額,超限額部分資金無法實時轉出,有效避免了部分資金損失。

也有詐騙人員盯上的是「聲音」。

2022年,律師馬俊哲在短視頻里自曝被電信詐騙3萬元的經歷。騙子使用AI技術,合成了馬俊哲母親的聲音,假冒其母親的身份給他打去電話,稱其父親因出車禍而骨折,急需3萬元的醫藥費,希望馬俊哲將錢打入她朋友的帳戶。

就在轉錢的那一刻,馬俊哲發現這個銀行卡歸屬地並非父母的所在地,馬俊哲立刻回撥了母親打來的這串電話,經過母親確認之後,馬俊哲又給父親打了個電話,但是父親電話打不通。他以為父親正在做檢查,便直接將錢打了過去。

可次日馬俊哲再次給母親打電話時,母親卻說沒有這一回事。馬俊哲百思不得其解,「聲音是我媽的,我不可能聽錯。號碼是我媽的,我不可能看錯。」報警後,他才從警方那裡得知,這是一種新型的詐騙方式,詐騙團伙利用技術合成了母親的聲音,又使用技術複製了一串和母親號碼完全一樣的虛擬號碼打來電話,並使用技術手段在行騙期間將親屬號碼屏蔽,讓他們切斷聯繫,從而增加騙錢的可信度。

方楊宥報案後,商河刑警奔赴廣東,將涉嫌幫信罪嫌疑人謝某等3人抓獲。目前該案正在進一步偵查中。來源:「濟南公安」微信公眾

誰在「丟臉」

‍ ‍ ‍

安徽人潘子平親身體驗過,僅需幾秒鐘的視頻通話,自己的人臉信息就丟失了。

3月24日晚上,潘子平在手機上看仙俠小說正著迷。翻頁時,他誤觸了一旁的廣告,一款遊戲開始在手機後台自動下載。下載完成後,潘子平點開看了看,也是一款和仙俠有關的遊戲,他玩了一會兒覺得沒意思,便直接卸載了。

幾秒鐘之後,一個來自境外的電話撥了過來,對方說已經獲取潘子平手機里的所有信息,包括相冊和通訊錄,要加QQ詳談。潘子平沒想太多,便添加了好友。剛一加上,一個視頻聊天直接打來,對方的臉始終沒有出現在鏡頭前,一個男聲簡單報了幾個潘子平通訊錄的人名,便掛斷視頻。

雖然兩個電話都沒有提到錢的事,但潘子平心裡開始有所警惕,他立刻將錢提現至銀行卡,並將銀行卡與支付寶和微信解綁。

沒幾分鐘,一條QQ消息發來。這次是一段視頻,約有十幾秒,畫面里是一個赤身裸體的男子,他頭上頂著潘子平的臉,正在做一些不雅的動作。潘子平驚呆了,「現在的技術都已經這麼厲害了嗎?」還來不及反應,電話又來了,「你給我三萬八,否則我就把你的『小視頻』發給你通訊錄里的所有人。」

對方還發來一張截圖,這段視頻已經在對話框準備就緒,只要點擊發送,潘子平通訊錄里的親朋好友就能收到。視頻再次打來時,對方開啟了螢幕共享功能,潘子平將支付寶和微信餘額展示給對方,說自己拿不出這麼多錢,雙方便從三萬八開始砍價,砍到兩萬八、一萬八,直至八千元,潘子平也說自己拿不出來。之後,對方便開始指使潘子平打開借唄等網貸平台,企圖讓潘子平通過借網貸的方式給他們錢。

就在轉帳前一秒,潘子平幡然醒悟,他立刻掛斷視頻,撥打110報警。由於未造成實際損失,警方並未立案。潘子平問警察,那段利用AI技術實時換臉的淫穢視頻怎麼辦?警方也無法將這段視頻銷毀,只能告訴他,編輯信息群發給通訊錄告知此事。

潘子平認為,就是那款遊戲讓自己的信息泄露,他趕緊檢查每項APP的手機權限,以免再次遇到「危險」。

在王潔的調研中,不乏有人因閱覽不正規網站而丟失個人信息,乃至遭到詐騙。他指出,要採集人臉信息,對於現有技術而言是一件非常簡單的事情。遍地可見的攝像頭、手機里因身份驗證而做的面部檢測、擁有相冊讀取權限的APP等,都在悄無聲息地獲取人臉信息。

濟南人方楊宥遭遇的AI詐騙,對方僅和他視頻通話7秒。來源:「濟南公安」微信公眾號‍

2021年,《焦點訪談》曾報道,在公安部「凈網2021」專項行動中,合肥市公安局網安支隊聯手包河分局打掉一個犯罪團伙,該團伙非法利用AI人工智慧技術,偽造他人人臉動態視頻,為黑灰產業鏈提供註冊手機卡等技術支撐。犯罪嫌疑人電腦中有10G左右的人臉數據信息,這些信息在網上轉手多次,而它們的主人對此毫不知情。

活躍在螢幕上的明星網紅,相比普通人則更易丟失臉部信息。2021年8月,劉昊然工作室發布聲明稱,由於網絡上出現大量用AI換臉技術對演員劉昊然進行侮辱的視頻、視頻截圖及含有侮辱誹謗言論的聊天記錄,上述視頻、截圖還被不斷販售,工作室向警方報案。近期,還有商家利用AI換臉技術,將演員迪麗熱巴和楊冪的臉部特徵應用到他們的電商平台直播間。

「AI技術存在被人類濫用的情況。」華東政法大學刑事法學研究院院長、上海市法學會刑法學研究會會長劉憲權認為,如今人們已經走入「弱人工智慧時代」,即技術仍是被人類使用的一種工具。隨著人工智慧技術的發展,侵權事件屢屢發生,除了詐騙、造黃謠之外,還有不少人們肖像權、智慧財產權受到侵害的案例。

「護臉」難題

技術持續更新換代,大眾接觸到AI實時換臉技術的門檻日漸降低。

早在2019年,就有一款名叫「ZAO」的AI換臉APP走紅,用戶只需提供一張照片,就能成為影視劇中的角色。但沒過多久,因涉及侵犯版權、隱私等方面的問題,這款APP就被下架。

然而AI實時換臉技術,仍在網際網路上悄悄販賣,這為「顯著標識」以及「告知被編輯的個人」增加了難度。

以「AI換臉」為關鍵詞在淘寶平台上檢索,並無產品出現。但若替換為「AI換頭」「AI換人臉」等相近詞語,即可檢索到產品。對照片進行換臉的售價在35、50、100元不等,而視頻換臉則以分鐘計費,收費為一分鐘70元、150元、400元不等。

「可以換成任何人的臉」,店家「工程師老張」稱,只需客戶提供原視頻和任意一張人臉照片,就能實現百分之百無痕換臉。不但能與當紅明星更換面孔,還能讓已去世的故人在視頻中「復活」。

若想將臉換得更加自然,多位商家均表示,需要買家提供與原照片相近或完全相同角度的人臉照片。不過也有一位商家表示,只需要買家提供一張正臉的照片,他們便能做到「以假亂真」的效果,「我們根據正臉照片自動建模,就可以算出另外幾個角度的樣子。」

不少商家會引導用戶添加微信詳談。新京報記者加了店鋪「杰倫視頻設計站」老闆的微信,截止今年7月,該商家售賣產品在淘寶的月銷量顯示為23,但在聊天過程中,對方為說服新京報記者下單,屢次強調其營業收入一個月20萬。他還展示了自己的支付寶截圖,顯示總資產16萬元。諮詢當日下午14點36分,該商家表示,當日營收已經將近1000元。

淘寶商家「杰倫視頻設計站」引導新京報記者添加微信,他朋友圈裡,都是AI換臉的相關案例。網頁截圖

這位商家自稱是AI實時換臉領域的高手,發布的朋友圈均為相關案例。5月9日,他在朋友圈發布了一條19秒的視頻,一位女主播穿著露肩上衣和超短裙,搭配著黑色絲襪,對著鏡頭扭動舞蹈,她的臉看起來和明星楊冪別無二致,唯有在低頭、側身時,畫面看起來不太協調。

他告訴新京報記者,普通視頻收費為70元一分鐘,色情視頻收費為150元一分鐘。他展示了一張截圖,裡面均為淫穢圖像和視頻,而後又迅速撤回。當新京報記者詢問是否均為換臉視頻,他回答稱,「不要問那麼多,跟你說能換就行了,不宜多說。」

新京報記者調查發現,上述商家確實在兩小時內就能依據客戶需求,成功製作一條一分鐘的換臉淫穢視頻,完成交易。交談間,他多次撤回他認為「敏感」的信息,從未提及要告知「被編輯的個人」,而後發來的視頻,也無任何關於AI換臉的標識。但該商家附帶發送一段「免責聲明」,稱「任何圖和視頻資料禁止傳播,任何後果與製作方無關,僅供娛樂,本人不對圖片和視頻用途負責,不承擔任何責任風險。」

一名淘寶商家向新京報記者展示了一份截圖,上面均為淫穢色情圖片或視頻,以此證明自己「什麼視頻都能做」。記者調查截圖‍

也有的AI換臉軟體是免費的。在抖音以「AI換臉」為關鍵詞進行檢索,會彈出大量相關的短視頻廣告,下附AI換臉軟體的連結。在一款叫「AI隨拍」軟體的連結後,各式各樣的明星、素人短視頻浮現在主頁上。只需觀看25秒的廣告,就可以用這款APP免費製作一個十多秒的視頻。

「就像人們買刀一樣,難道買刀殺人之後,怪這把刀或者賣刀的人嗎?」北京市華城律師事務所合伙人甘仕榮指出,技術本身沒有問題,關鍵在於使用者是否做出違法行為,如惡意醜化,涉嫌侵犯他人的名譽權,出售換臉色情視頻,涉嫌製作、傳播淫穢物品,可能構成刑事犯罪等。只是,任意售賣這一技術,增加了違法風險,也加大了執法監督的難度。

怎樣保護我們的「臉」

「AI的出現,讓原本就易受騙的人群更容易上當了。」王潔說,AI只是一個工具,詐騙人員將其用來增強騙局裡的可信度,從而提高他們詐騙的成功率。隨著網絡成為人們生活的一部分,AI換臉騙局不僅是侵占他人財產那麼簡單的事情了,劉憲權認為,這一技術若再發展下去,詐騙方式將更加逼真和多樣,讓人們防不勝防。

根據張振華的辦案經驗,目前的AI詐騙案件中,這一技術並不是「完美」的,如果視頻通話時間長一些,或者將臉放置於複雜、不穩定的場景中,就可能露出蛛絲馬跡。然而人們在緊急狀況下,面對熟悉面孔和聲音,很難多次對聲畫進行試探和觀察。

兩位專家均表示,要針對AI侵權事件進行維權,並非一件易事。劉憲權指出,目前在法律層面沒有關於AI技術使用和發展過程中的相關規制。

王潔則認為,當利用AI技術進行電信網絡詐騙等侵權事件已經發生,再去追究的難度太大。他曾調研過多位反詐警察,當他們花費大量時間和金錢之後,卻發現犯罪源頭在境外。對於受害人而言,也不是所有人都能付出足夠的時間、金錢和精力去追究侵權事件的責任。

淘寶平台上,依然有商家對AI換臉技術進行售賣。網絡截圖

潘子平的臉被盜用在黃色視頻後,由於沒有被騙錢,報警後沒有立案。他既找不到是誰盜用了他的臉,也無法讓對方停止傳播,只能編輯一條簡訊群發給每位好友,提醒他們不要傳播,也不要相信視頻內容。

「一心只想化妝的阿蕾」是小紅書平台上擁有兩百多萬粉絲的美妝博主,她發布了很多國風妝造的圖片。去年4月,她發文自述稱其主頁視頻被盜用至換臉APP成為換臉模板。她並不清楚是誰上傳了這些模板,「一個APP可能有幾十個甚至上百個上傳者,這給維權增添了不少難度。」

「我沒那個錢和精力去搞,這不是我的原罪。」有人在評論區提醒她維權,她無奈道,維權首先要從起訴APP開始,定位到每位上傳者,再起訴個人,這樣的時間和金錢成本都很高,前後時間線拉得很長,勝訴得到的賠款卻沒多少。

「核心問題是個人信息保護。」王潔認為,詐騙事件背後都存在個人信息泄露的情況,隨著深度偽造技術不斷更新換代,保護人臉等個人隱私成為不可輕視的問題。因此公安機關在查案辦案時,應該更加關注信息泄露的渠道,從源頭來進行治理。政府應該加強對個人信息保護的監管,而APP開發商運營商等各環節也應該共同協力,在人臉信息的存儲、讀取、使用、清除等方面依法管理,促進企業個人信息保護合規自律。

人工智慧技術飛速發展,劉憲權提出應該探討如何做到違法侵權的事前防範。他認為,目前人工智慧技術還未發展到成為獨立責任主體的地步,技術仍是一種被人利用的工具,只是因其有一定的智能部分,被不法分子利用時可能加大對社會的危害。因此,除了完善對於新技術的相關法律法規,還應該對於人類使用和發展該技術的過程進行相關限制,比如某一領域是否准入,又有什麼人可以使用相關技術等。

與人工智慧技術相關的法律法規也在不斷完善。4月11日,國家網信辦發布了《生成式人工智慧服務管理辦法(徵求意見稿)》,對提供生成式人工智慧服務做出較為詳盡的規定,其中包括准入資格、內容生產者和個人信息處理者等各方責任義務和相關處罰措施等。

「我們的未來一定是會和AI共存共生長的」,王潔說,這意味著人類也將和AI侵權事件共生共存。他認為,今後的立法要及時關注技術發展過程中出現的新現象和新問題,普通網民要提升對網絡高風險的認識,而執法監督部門則更應加快技術升級,研發「反換臉」等檢測技術,利用人工智慧技術提高辦案能力。

他說,「唯有全社會各方通力合作」,才能讓技術向善發展。

(方楊宥、潘子平為化名)

━━━━━ ━━━━━ ━━━━━

最近微信改版

經常有讀者朋友錯過推送

星標「剝洋蔥people」

及時接收最新最熱的推文

━━━━━ ━━━━━ ━━━━━