最新原創 專題 新經濟 曝光臺 中國訪談 中國三分鐘 沖浪特殊資産 潮評社 溫州 紹興 衢州 淳安 岱山 桐廬 文娛 元宇宙
您的位置:首頁 > 要聞 新聞詳情
涉黃AI換臉案:有人用暗戀女生換臉
發佈時間 | 2024-03-24 11:20:45    

   “AI換臉”相信大家都不陌生。只需要一張照片,通過人工智慧深度合成技術,任何人都能成為視頻中的主人公,甚至連表情和動作都能以假亂真。然而,這項新技術,卻讓一些人産生了不良想法,杭州的虞某就利用“AI換臉”軟體生成大量淫穢視頻進行傳播,被換臉的有不少女明星等公眾人物,虞某甚至還提供換臉定制服務。

  2022年8月,杭州市蕭山警方在網上巡查中獲取一條線索,轄區內有人利用AI技術製作淫穢視頻在網上進行大量傳播,警方依法對此立案偵查,並迅速抓獲了犯罪嫌疑人虞某,隨後該案被移送至杭州市蕭山區人民檢察院審查起訴。

  杭州市蕭山區人民檢察院檢察委員會專職委員 章蕾:虞某通過在網際網路上發現了有一個AI換臉的技術軟體,他自己通過學習這個軟體,掌握了使用技能,從此開始利用AI換臉的技術去牟利。

  檢察機關調查發現,虞某從2020年開始接觸“AI換臉”軟體,起初,他想通過在網上推廣該項技術以及相關的軟體來獲利,但是,一段時間過後關注他的人卻很少,一次偶然的機會,虞某看到有人在社交群組中發佈淫穢資訊來吸引他人關注,於是他也動起了類似念頭。

  杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯:他可能發現僅僅通過販賣軟體的方式,可能很難獲取到一般人的關注。因為他在網路上看到有一些網路群組在傳播一些淫穢色情視頻,他就想到説通過換臉軟體製作一些淫穢色情視頻,然後先放在網際網路群組上,從而吸引流量,吸引大家來關注這個軟體或者換臉視頻。

  據虞某供述,為了吸引更多的關注和流量,他在社交軟體上創建了“瀏覽群”和“私人定制群”,“瀏覽群”主要用來傳播“AI換臉”的淫穢視頻吸引、招攬觀看者,其中包括一些經過虞某換臉的視頻,當有人提出“定制換臉”的需求,虞某會將這些人引入所謂“私人定制群”。

  杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯:通過收取入(瀏覽)群費用的方式,一個198元、298元或者398元。另外一個就是虞某還提供人臉視頻定制服務,相當於客戶如果需要定制一個換臉的視頻,他可以根據時長,根據視頻的難度大小收取相應的費用。

  私人定制→“只要能看到臉的都能換”

  據檢察機關調查,虞某一邊通過傳播換臉的淫穢視頻來“吸粉引流”,同時又通過出售“AI換臉”軟體和提供所謂“AI換臉”的私人定制服務,在不到半年的時間裏就獲利數萬元。而被“AI換臉”侵害人臉敏感資訊的受害者,不僅包括多位知名公眾人物,還有很多不特定的普通人。

  據檢察機關調查,虞某根據“AI換臉”視頻的長度、清晰度等難易條件,按照5分鐘300元、10分鐘500元等標準來收取定制的費用。虞某聲稱,“只要能看到臉的都能換”。

  杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯:首先這個價格也是他自己定的,再一個初級、中級、高級,可能在這個視頻最後完成換臉的效果上有一定的區別。有些人可能一開始購買了初級的教程,初級的一些素材和材料,發現最後達到的效果不能達到他所期望的效果,那麼有可能會繼續付費去購買一些高級的視頻,包括高級教程。

  杭州市蕭山區人民檢察院檢察委員會專職委員 章蕾:他通過VIP定制,就是客戶提要求“我今天想要把臉換成是誰的臉,你幫我定制一下,我支付相應的報酬”,通過這樣牟利的方式。

  “定制”換臉對象既有公眾人物也有普通人

  據檢察機關了解,虞某的客戶要求“定制”換臉的對象不僅包括一些知名的公眾人物,也有生活中的普通人,其中就有人提出想要定制自己暗戀女生的換臉視頻,而對於這些未經同意就擅自侵犯他人敏感資訊的違法行為,虞某也是來者不拒。

  另外,虞某除了進行定制化的換臉服務,還將“AI換臉”軟體分為初級、中級和高級三個等級進行銷售並傳授使用教程,同時還提供網上非法收集的他人人臉素材。

  杭州市蕭山區人民檢察院第七檢察部檢察官助理 陳禹堯:這個軟體的入門的門檻其實是比較低的,它的操作相當於通過一些已經設定好了的運作的程式和代碼,相當於我只要按照你的步驟,把需要進行換臉的視頻放在它規定的一個文件夾裏,或者是按照步驟來進行操作,它自動對你所要替換的人臉視頻裏面的人臉資訊,或者照片裏的資訊是自動提取,自動建立學習模型進行學習,然後下一步是自動進行合成的。

  據檢察機關收集的證據顯示,虞某創建的眾多社交群組中,最少的成員95人,最多的成員達2053人,通過銷售換臉淫穢視頻以及定制換臉淫穢視頻等違法行為,虞某先後收取密碼紅包200余次,總金額共計6萬餘元。

  除追究刑責

  檢察機關還提起民事公益訴訟

  檢察機關認為,作為“AI換臉”技術的使用者,虞某通過傳播侵犯公民個人資訊的方法和手段,使得更多“不特定主體”個人資訊被侵害的社會危險性進一步擴大。因此,杭州市蕭山區人民檢察院在依法追究虞某刑事責任外,同時還提起民事公益訴訟。2023年7月,杭州網際網路法院對這起公益訴訟案進行審理,這也是我國首例關於“AI換臉”侵犯公民個人資訊公益訴訟案的審理判決。

  2023年4月14日,杭州蕭山區人民檢察院決定對虞某“AI換臉”侵犯公民個人資訊公益訴訟案立案,當日履行公告程式,公告期滿,無適格主體提起訴訟。6月9日,檢察機關依法對虞某提起民事公益訴訟。7月28日,該案在杭州網際網路法院一審公開審理。

  在庭審中,檢察機關出示了虞某侵犯公民個人資訊、損害社會公共利益的詳細證據,包括公安機關對虞某所作的訊問、詢問筆錄、勘驗記錄、檢查記錄、鑒定意見,以及淫穢視頻1200多部、圖片1600多張等電子數據。

  杭州網際網路法院網際網路審判第一庭庭長 肖芄:過去我們常常認為眼見為實,耳聽為實,但是隨著深度合成技術以及新技術的運用,我們眼見也不一定為實,新技術的不當應用或者是一種濫用,實際上衝擊了我們社會公眾主體相互之間的信任關係,特別是在網際網路空間這樣一種建立起來的信任關係。那麼對於這種信任關係、社會關係的一種侵害,其實本身也是對社會秩序的一種損害。

  杭州網際網路法院經審理認為,虞某利用“AI換臉”技術侵犯公民個人資訊的違法事實確鑿,因此支援檢察機關作為公益訴訟起訴人的全部訴訟請求:判令被告虞某刪除非法獲取的個人資訊,公開賠禮道歉、消除影響並賠償損失共60000元,這些款項將專門用於個人資訊保護、人臉深度合成技術不當應用的治理等公益事項。

  杭州網際網路法院常務副院長 朱敏明:任何一項新技術,首先這個技術它總是有中立性的,那麼在技術本身我們是持接納支援的這種態度,但是技術開發應用的目的,它必須是有利於全人類的公益,不能是為了這個技術,用於個人的非法牟利,然後侵犯其他公民、集體、國家、社會的合法權益,一旦越界了就要承擔相應的責任。那麼這個案子中因為由檢察院來提起公益訴訟,然後法院來依法審判,充分發揮審判司法職能對新技術的規範。

  技術無善惡但有邊界

  須在法律規制內使用

  2023年11月,杭州市蕭山區人民法院判決被告人虞某犯製作、傳播淫穢物品牟利罪,判處有期徒刑七年三個月,並處罰金6萬元。

  “僅憑幾張照片,任何人都可能成為受害者。” 從網路主播換臉女明星直播帶貨,再到換臉被嫁接到淫穢視頻中,濫用“AI換臉”技術實施各類侵犯個人資訊的行為時有發生,甚至在灰色領域甚至違法犯罪領域濫用。那麼,“AI換臉”技術的法律邊界在哪,又該如何規範和治理呢?

  杭州網際網路法院網際網路審判第一庭庭長 肖芄:我們國家的民法典對於侵害他人,通過深度偽造方式侵害他人人身權益是有明確的規定的,禁止通過深度合成的方式去侵害公民的人身財産權益,這是民法典的規定。隨著技術的發展,個人資訊保護法對於深度合成也有相關的規定,因為不管是面部的一個替換還是聲音的替換,它實際上都需要收集公民的個人資訊,那麼這些都是屬於個人資訊保護法特別保護的敏感的生物識別資訊。

  我國目前除了“民法典”“個人資訊保護法”,2023年正式實施的《網際網路資訊服務深度合成管理規定》《生成式人工智慧服務管理暫行辦法》中也明確規定,強調使用者不得利用深度合成服務從事法律、行政法規禁止的活動,要求深度合成服務提供者要落實資訊安全主體責任。

  注意!“AI換臉”用來搞笑也存法律風險

  法官認為, “AI換臉”技術即便只是用來搞笑或者製作惡搞照片,也有可能涉及侵犯肖像權、名譽權,造成嚴重後果的,還可能構成侮辱罪或者誹謗罪。

  而“AI換臉”技術的濫用,看似是對被侵害的個人的人格權、肖像權、名譽權、隱私權的侵害,實際上更是對社會公序良俗的踐踏,是對穩定的社會環境和清朗的網路空間的挑戰。

  杭州網際網路法院常務副院長 朱敏明:一項新技術的産生往往專門針對這項新技術的法律法規會有所滯後,但是總的來説我們現在國家整個的法治體系已經相當完善,每個人你哪些行為是可以做的,哪些行為是不可以做的,它的原則性規定都是已經比較健全了。我想正常人都是能夠判斷得出來的,你去運用這項新技術,你的目的是有益於整個人類,有利於就是人民生活水準的提升,福祉的提升,還是説為了個人謀取不當的利益。那麼我就想把握好這個界限,這些新技術都是能夠為我們美好生活服務的。

來源:央視新聞    | 撰稿:    | 責編:汪傑菲    審核:張淵

新聞投稿:184042016@qq.com    新聞熱線:135 8189 2583