核心提示

• “AI 換臉 10 分鐘狂騙 430 萬”新聞中直接利用 AI 換臉騙取錢款的行爲人構成詐騙罪，若 AI 換臉技術的提供方與行爲人共謀，則 AI 換臉技術提供方（自然人）構成詐騙罪的共同正犯。若雙方無共謀，則 AI 換臉技術提供方則有可能構成幫助信息網絡犯罪活動罪。

• “AI 換臉 10 分鐘狂騙 430 萬”新聞中提及的技術即 AI 深度合成技術，是廣義的 AIGC（人工智能生成內容）技術群的組成部分，目前在我國，深度合成技術直接受到《互聯網信息服務深度合成管理規定》的規制。今年 4 月，國家互聯網信息辦公室管理《生成式人工智能服務管理辦法（徵求意見稿）》亦公开徵求意見，該意見稿定稿發布後，深度合成技術將受到進一步規制。

• 除刑事犯罪外，未經允許運用 AI 換臉等深度合成技術還可能構成侵犯肖像權、侵犯名譽權等民事侵權糾紛，目前司法實務中已經存在 AI 換臉技術構成民事侵權的判決例。

• 涉及深度合成等技術的 AIGC 創業公司需要遵守信息發布審核、個人信息保護等 20 個合規義務，以確保自身業務合規，具體合規內容可見文末。

AI 換臉新騙局，中國互聯網協會發文提醒

就在幾天前，內蒙古包頭等地出現 AI 換臉新騙局，被害人好友突然通過微信視頻聯系被害人，並稱自己在外地競標，需要 430 萬保證金，且需要對公账戶過账，需要借被害人的公司走账。被害人基於對好友的信任，加之已經視頻聊天確認了其身份，便分兩筆將 430 萬轉到了好友的銀行卡上。事後被害人撥打好友電話才知道被騙。在該案中，騙子通過 AI 換臉技術將自己在微信視頻中僞裝成被害人好友的樣子，再利用聲音合成技術合成被害人好友的聲音，進而對被害人實施詐騙。

針對日漸猖獗的 AI 換臉詐騙事件，多地發文提醒公衆注意防騙風險。5 月 23 日，四川綿陽市反電信網絡詐騙中心發出預警，提醒公衆注意相應的詐騙風險。就在昨天，中國互聯網協會向公衆發出預警，今年以來，伴隨着深度合成技術的开放开元，深度合成產品和服務逐漸增多，利用“AI 換臉”、“AI 換聲”等虛假音視頻進行詐騙、誹謗等的違法行爲屢見不鮮。

目前世界範圍內有據可查的第一起利用深度合成技術的詐騙案件發生在 2019 年。

深度合成詐騙第一案

2019 年 3 月，一家國際能源公司首席執行官接到了一個未知來電，很快，他就認出了電話那頭的人——德國母公司的 CEO，也是他的頂頭上司。在這通電話中，母公司 CEO 表示當前公司出現運營危機，急需世界各地分公司緊急提供 220000 歐元或 243000 美元的資金支援，隨後這位母公司 CEO 提供了一個匈牙利的銀行账戶，並宣稱該筆資金需要直接支付給某匈牙利供應商，母公司將在資金周轉過來後爲分公司報銷這筆支出。雖然該指示聽起來不是既不合規又不靠譜，又涉及如此大的一筆資金流轉，但被害人考慮再三還是選擇了執行命令，原因很簡單：電話裏的聲音確實是自己的頂頭上司無誤，甚至連那標志性的輕微德國口音和語氣習慣都與自己老板平時說話時毫無區別。至此，雖然受害人還有所懷疑，但依然向“老板”電話中提供的匈牙利账戶完成了轉账。在這起案件中，被轉出的資金從匈牙利流向墨西哥，然後再被分散到其他地方，截至 2023 年 5 月，涉案資金仍未追回。

正因上述案件在全球範圍內層出不窮，傳統的技術中立觀點在法學界已經鮮有支持，各國對於深度合成技術亦逐步加強監管。《互聯網信息服務深度合成管理規定》是我國專門規制深度合成技術的規範性文件。除此之外，《網絡安全法》《數據安全法》《個人信息保護法》《互聯網信息服務管理辦法》《網絡信息內容生態治理規定》《互聯網信息服務算法推薦管理規定》《網絡音視頻信息服務管理規定》等亦涉及到對深度合成技術的規管。當然，《刑法》作爲最後的保護手段，亦有諸多罪名可規制利用 AI 深度合成技術犯罪的行爲。

AI 換臉技術服務提供者有構成幫信罪的刑事風險

不可否認目前深度合成技術是“朝陽產業”，隨着技術迭代深度合成技術成本急劇降低，相關企業甚至可以達到通過“走量”賺取暴利，根據調查，目前制作一套“露臉且說話”視頻的成本低至數十元，且只需要提供正面照片就能生成視頻，生成的視頻不僅眼睛、嘴巴、頭會動，如果提供文字和聲音內容，甚至口型都能對得上，而這一切只需要幾小時就可完工。有商家稱利用照片生成一段 1 分鐘時長的視頻僅需要 30 元，質量要求不高的幾元就可以做到。

值得注意的是，這類行爲具有巨大的刑事風險，《中華人民共和國刑法》第二百八十七條之二規定了幫助信息網絡犯罪活動罪。幫助信息網絡犯罪活動罪即明知他人利用信息網絡實施犯罪，爲其提供互聯網接入、服務器托管、網絡存儲、通訊傳輸等技術支持，或者提供廣告推廣、支付結算等幫助，情節嚴重的行爲。此處的“明知”在實務中往往通過客觀證據即可認定，而不依賴於行爲人的主觀說辭，同時，爲客戶提供 AI 換臉技術，亦可以被解釋爲“爲其提供……等技術手段”。換言之，在 AI 換臉技術引發的電信詐騙案件如此猖獗的情況下，客戶無正當理由，且沒有顯著證據證明其獲得了照片人的認可而要求 AI 換臉技術提供者利用照片生成視頻，而相關技術提供者制作了視頻，又被客戶用以行騙時，AI 換臉技術提供者極易陷入幫助信息網絡犯罪活動罪的刑事風險之中。

未經允許的 AI 換臉技術亦有可能構成嚴重的民事侵權

除上述構成幫助信息網絡犯罪活動罪之刑事風險外，未經允許的 AI 換臉技術亦有可能構成嚴重的民事侵權行爲，實際上這種判決例已經出現。如在（2022）滬 0116 民初 13856 號肖像權糾紛判決中，被告上海某科技有限公司在其運營的“AI 換臉”軟件中使用了古風漢服模特廖某所拍攝的古風造型視頻模板。本案中，原告廖某對肖像享有肖像權，並且被告雖然將原告視頻中的人物形象的臉部進行替換，但仍能通過其他未修改的相應場景和細節識別出對應主體爲原告廖某。原告據此主張被告構成肖像權侵權。AI 換臉技術作爲一種典型的與肖像有關的技術，其破壞了肖像和主體的同一性，一方面肖像主體有權拒絕其身體形象被冠以他人面目，另一方面肖像主體也有權拒絕將其面部形象嫁接至他人身體之上。結合一般肖像權侵權的構成要件，以 AI 換臉技術侵害肖像權的構成要件爲：1.自然人對特定肖像享有肖像權；2.行爲人無論是否具有盈利目的，未經他人同意利用信息技術手段對權利人的肖像進行篡改、僞造和自動生成，產生難以甄別的效果。

除肖像權侵權外，利用 AI 換臉技術制作惡意醜化他人的視頻、圖片並在互聯網上廣泛傳播的，則有可能構成名譽權侵權。如在實際生活當中存在大量利用換臉視頻調侃明星、網紅的情形，例如制作換臉惡搞視調侃某明星唱、跳、打籃球的技巧問題，就有可能構成名譽權侵權。

寫在最後

深度合成技術作爲人工智能領域最有生命力的運用，其必將會在今後迸發出極大的生產力，也正因如此，該領域的合規問題必須受到重視，這是深度合成技術健康發展的前提，在當今法學界，純粹的技術中立學說已經鮮有人主張，技術本身具有自己的價值傾向性已經深入人心，基於深度合成技術的各種風險，颯姐團隊總結了相關從業者的合規邊界以及 20 個合規義務，以此助力深度合成產業健康發展並供從業者參考：

生成內容的合規邊界

• 不得從事涉政涉黃；

• 不得合成虛假新聞，非持牌不得傳播非國家規定範圍內的單位發布的新聞；

• 不得違背公序良俗（例如第三者如何搶奪原配家產）；

• 不得生成違法和不良信息，這方面可以健全相應“特徵庫”，篩選健康信息；

• 不得惡意貶損他人名譽和企業商譽（法律後果是會被起訴名譽權侵權）；

• 對於不可控的創作內容，及時刪除降低社會危害。

具體的合規義務

• 健全用戶注冊制度；

• 算法機制機理審核；

• 科學倫理審查；

• 信息發布審核；

• 數據安全管理制度；

• 個人信息保護制度；

• 反電信詐騙制度；

• 應急處置管理制度；

• 在 App 或網站，公开管理規則、平台公約，完善服務協議，以顯著方式提示各方承擔信息安全義務;

• 健全用於識別違法和不良信息的特徵庫，留存日志；

• 發現違法和不良信息，有向主管機關報告的義務；

• 發現違法和不良信息，對使用者依法依約，採取處置措施；

• 全闢謠機制；

• 設置便捷申訴和舉報入口，及時反饋結果；

• 加強訓練數據管理；

• 定期審核、評估、驗證生成合成類算法機制機理；

• 依法自行或委托專業機構开展安全評估；

• 對生成內容，採取技術措施添加不影響用戶使用的標識；

• 不得刪除、篡改、隱匿深度合成標識；

• 按照《互聯網信息服務算法推薦管理規定》履行備案、變更、注銷備案手續。

鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播信息之目的，不構成任何投資建議，如有侵權行為，請第一時間聯絡我們修改或刪除，多謝。