他們給AI投幣1美元,百萬女性被拖入地獄
那張照片,會跟著我一輩子嗎?”
一年多前,伍華在韓國旅遊,途中在社交媒體上發布了一張帶有韓國定位的照片。回國不到三天,朋友發給她一張截圖,是一個和她的頭像、網名幾乎一樣的賬號。不同的地方是,賬號裏的文字被替換成韓語,個人簡介裏,還出現了一個陌生網址。
令伍華震驚的是,點開高仿賬戶裏的網址,會導向一個色情頻道,汙穢不堪的付費視頻陳列其中——主角,全都被AI換成了她的臉。
直到今年8月末,關注到韓國Deepfake事件時,“我被一陣巨大的後怕席卷。”伍華告訴《智能湧現》,“太惡心、太難受了。”
回想起點開這些AI視頻的的第一感受,伍華依舊語帶哽咽。盡管高仿賬號已經被她舉報刪除,但她不確定自己的臉,還有沒有被用在其他地方。
Deepfake(專指基于AI的人體圖像合成技術)技術催生出的“N號房2.0事件”,正在讓隔海相鄰的韓國陷入巨大漩渦。不計其數的女性,成爲了男性用AI捕獲的“獵物”。
仁荷大學的一位男學生,組建起了一個超過1200成員的聊天室。他們利用Deepfake技術,將學校中的女生的臉龐,安放到到各種黃色影像上,群聊中還公開分享她們的聯系方式。
從仁荷大學開始,一場巨大的合謀被迅速揭開,Deepfake也因此被稱爲“N號房2.0事件”。從8月20日開始,韓國媒體、警方陸續揪出了大量與學校、醫院、軍隊體系中的類似聊天室。
22萬,這是韓國披露的人數最多的Deepfake聊天室成員人數。而韓國範圍內,幾乎每一個中學、大學都有這樣的“淩辱房”。
在群聊中,男性以自己生活中熟識的女性爲羞辱對象,用各種Deepfake工具,將女性的臉換到各種淫穢不堪的圖像、視頻中。而後,群內的男性會開始共同進行言語羞辱,甚至發展到線下威脅、騷擾。
規模較大的羞辱房,甚至還會細分成不同的小房間,比如家屬羞辱房。男性甚至偷拍自己的媽媽、姐姐、妹妹的照片傳到群聊中。
△聊天室中,有男性將親妹妹的照片上傳其中(照片已被紅色馬賽克遮擋),配文爲翻譯成中文的聊天記錄。
2019年,震驚全球的N號房事件發生時,就有網友語帶諷刺:“全韓國的出租車總數只有26萬台,這意味著,你在街上碰見N號房會員的概率,和碰見出租車一樣。”
這句話,不僅能用在今日的Deepfake聊天室上,真實的情況更加觸目驚心。
N號房1.0基本以真實的盜攝內容爲主,這意味著犯罪者還需要自行拍攝,獲取素材。但Deepfake技術越來越成熟後,Deepfake房的犯罪成本降至極低——AI生成的圖像、視頻,內容逼真到讓人恍惚。
今年5月,一位40歲的首爾大學畢業生樸某被逮捕,他用48名女性受害者的照片,制作了1852份性剝削內容,受害者都是他在生活中認識的女性。
一位在首爾的老師,發現自己也成爲了“熟人淩辱房”的主角,始作俑者是她執教班級的學生,但她無法得知是哪一位。
“那張照片會跟著我一輩子嗎?”她崩潰地向媒體訴說。
Deepfake事件爆出後,志願者根據媒體報道、匿名投稿核實,制作了一張涉及Deepfake加害者地圖。紅色標記密密麻麻,幾乎要將韓國中心地帶淹沒。
△志願者整理的“加害者學校地圖”,紅點幾乎要將韓國中心地帶的地圖淹沒 來源:https://deepfakemap.kr
根據網絡安全監測機構SecurityHero的統計,2023年韓國的Deepfake色性産業,就占到了全球的53%——與之相對的,韓國2023年的GDP,還不到全球的2%。
△2023年全球Deepfake色情産業分布--- 制圖:智能湧現
被絕望和憤怒沖擊的韓國女性,不得不在壓抑的輿論中四處奔走。
“我的生活不是你的色情片!”“女性沒有國家!”她們憤怒地在社交媒體高呼。
* 沈默中的圍剿戰
沒人知道確切的女性受害者數字是多少。大學生智英每日灌下大杯大杯的咖啡,只爲了保持清醒狀態。“我害怕錯過受害者的任何一條投稿。”
智英不敢停下。自8月下旬開始,她幾乎失去了睡眠。
一場圍剿戰正在進行中。
在推特上,智英與韓國男性不停周旋。她的推特賬號早已實時被男性們監控,剛上傳的、呼籲大家舉報的厭女內容網址,下一分鍾網址就被修改了。這意味著,厭女者們一直在盯著智英的推文。
在和我們的交流中,她還嘗試使用變聲器——所有在推特上爲這次事件活躍的女性博主,都是韓男“開盒”(人肉搜索)的頭號目標,她無法透露自己的任何信息。
在女性地位低下的韓國社會,女權主義者早已是個危險的標簽。韓國最大的女權主義推特Queens Archive就因爲最先披露Deepfake聊天室事件,被韓國男性舉報至炸號。
“有時候我們根本不洗澡、不睡覺,一直熬到淩晨三四點。”智英對《智能湧現》表示。她和推特上的“戰友”,急切地將所有Deepfake相關信息、受害者保護指南、女性主義科普翻譯成英語,在推特上不間斷傳播。
Deepfake事件涉及的加害者、受害者雙方,其年齡範圍比起N號房1.0都要更小。2024年1月至7月,韓國立案偵查了297起深度僞造性剝削犯罪,共計抓獲178名嫌疑人,其中131人是十幾歲的青少年,占比73.6%。
不少人將其比作“N號房2.0事件”,但與之相比,現在的輿論熱度,根本不能同日而語。在不少女性眼中,韓國政府和警方的態度,可以用“消極”來形容。
用AI制作的性羞辱內容,由于“並不是真實的”,一開始甚至沒有進入到警方、政府的視野。
“當年的N號房事件,政府就沒有進行正當的處理。所以,現在Deepfake事件中的男性,很多都是未成年,受害者中也有很多是未成年人,加害者更不會覺得有什麽後果,也不會坐牢。”智英對《智能湧現》說。
在本次Deepfake事件中,目前韓國警方只逮捕了15個人左右,有的加害者直接跑到海外,以移民的方式逃避刑罰。
“Deepfake事件,加上此前的N號房、Soranet等數字性犯罪案例,受害者預計有超過100萬人之多,沒有人知道確切的數字。“智英感到遺憾,“所以如果我們不盡快向政府施壓,政府就不會做任何事情。”
韓國女性開始向外求救,接力將Deepfake事件的內容傳播到中國、日本的社交媒體上。
△來源:微博
韓國大學生恩靜就跑到小紅書上,用機翻的生疏口吻請求關注、擴散,不斷被封號、刪帖也不曾放棄。而在微博上的韓女呼救微博,在短短兩天內就被轉近15萬次。
△來源:小紅書
無人知道這些努力最終能夠導向何方。恩靜告訴《智能湧現》,她的親妹妹現在也是一位中學生,學校除了簡單囑咐女生保護自己,再無其他措施——她和妹妹只能將社交平台上所有帶臉的照片刪除,每日穿長褲出門。
而海外輿論爆發後,韓國政府才終于認真跟進這一事件。近期韓國不同政黨最近的公開發言,都離不開Deepfake事件。“事件必須短期內解決。”他們表示。
*“Deepfake羞辱房”,無處不在
當一名毫無AI技術基礎、留在“牆內”的中國男性,成爲Deepfake加害者,前期需要付出怎樣的作案成本?
在SecurityHero的報告中,中國的Deepfake色情視頻數量,占全球的3%。與韓國(53%)和美國(20%)相比,這是一個並不高的數字。然而,由于報告統計的數據大多來源于海外網站,中國Deepfake色情産業的實際規模,遠不止這些。
在海外社交平台X(原爲Twitter)上檢索“Deepfake”,很快出現一名中國Deepfake工具賣家。他的帖文露骨地寫著“AI脫衣”“捆綁”“比基尼”等字眼,但主頁卻聲明:“僅提供AI工具,對用途概不負責。”
X、Instagram、Facebook等海外社交平台,僅僅是打開潘多拉魔盒的一把鑰匙。不少中國從業者,用“vx”“扣”“zfb”等字眼,隱晦地指代交易的最終場所:微信、QQ、閑魚,甚至還有支付寶的交易界面。
通過留在X上的QQ號,我們聯系上了一名賣家。爲了逃避平台的監管,他的個性簽名是“嚴禁違禁詞,僅供娛樂使用,傳播後果自負”。從頭至尾,他表現得和一般軟件銷售無異,整段對話沒有提及任何“性”相關的詞彙。
但“性”,又成了這場交易心照不宣的目的。很快,對方用QQ“閃照(點開3秒後照片就會消失)”功能,發來兩張打滿馬賽克的Deepdake效果圖。
△作者與Deepfake工具賣家的QQ聊天記錄,已舉報給騰訊官方平台
點開大圖,馬賽克隨即消失——一張凹著不自然Deepfake照,出現在了屏幕上。
3秒後,女性的照片,連同用以維權舉證的證據,一同消失在了聊天記錄中。
即便在國內,讓女性經曆一場賽博羞辱,並從法律制裁中逃逸,也如此簡單。
作爲脫去女性外衣的新型凶器,AI的出現,讓網絡性侵害的成本更低、速度卻更快。在從業者發來的産品目錄中,一段用AI生成的10秒內換臉視頻30元,一張AI裸照只要10元,價目表上還特別注明:買5送1。
但一開始,Deepfake的背後、一項名爲“生成對抗網絡(GAN)”的技術,還幾近人畜無害。
2014年誕生在谷歌大腦實驗室的GAN,有著難以普及的一切要素:軟件安裝難度大、操作的技術門檻高,同時還需要昂貴的訓練數據集和算力資源。這讓Deepfake一度待在實驗室裏,沒有被大衆廣泛使用。
事情走向失控,大致在2019年。
2019年,一款號稱“30秒就能一鍵脫衣”的應用DeepNude誕生了——諷刺的是,這款軟件用了一萬張女性裸體照片訓練而成,當用戶輸入一張男性照片,他無法脫下男性的衣物,只會爲其添加一個女性的陰部。
DeepNude的背後,是幾年間性能飛速提高的GAN技術,以及讓使用難度大幅下降的開源生態。這讓一名匿名的男性程序員Alberto(化名),基于加州大學伯克利分校的開源GAN架構,快速開發出了DeepNude。
一邊,是迅猛發展的AI技術,和逐漸繁榮的開源生態;另一邊,又是野蠻生長的Deepfake,和沒有做好准備的社會意識和監管體系。
DeepNude讓非自願裸照的制作,變得像點擊按鈕一樣簡單。迫于輿論壓力,DeepNude發布兩周後,就選擇了自主下架。Alberto(化名)在采訪中解釋,這款軟件的開發完全出于“有意思”和“好奇心”:“我不是偷窺狂。我是技術的愛好者。”
DeepNude下架了,但千萬個“DeepNude”,以更隱秘的姿態、更低的操作門檻、更逼真的生成質量,開始在互聯網泛濫。
Deepfake與色情産業的相關數據--- 制圖:智能湧現
在論壇Discord上,DeepNude的安裝包以20美元的價格出售。匿名賣家在主頁中表示,他們提高了DeepNude的穩定性,與此同時,還刪除了正版DeepNude給生成圖片添加的水印——這一切,都讓Deepfake裸照,看上去更加逼真。
下架不到三周,DeepNude又被開發出了更易上手的模式,成了嵌了Telegram上的一鍵脫衣Bot。
此後,事件的走向,和如今的韓國“N號房2.0”十分類似。Bot的使用者,自發在Telegram上建立了社群,超過10萬名成員,成了“N號房”的初代居民。
最早監測到這款Bot的網絡安全公司Sensity發現,上線不到一年,這款Bot已經産生了68萬多名女性的虛假裸照,約104852張女性照片被公開發布在這款應用上。
* 向下的維權螺旋
從2019年至今,圍剿DeepNude的行動一直在進行。
2019年7月,美國弗吉尼亞州通過了一條有關色情禁令的法律修正案,禁止出售或傳播計算機生成的色情內容。同年年末,推特、谷歌、Facebook等平台著手整治Deepfake視頻,措施包括給Deepfake視頻打水印、贊助檢測Deepfake的相關研究項目。
然而,無論是韓國“N號房2.0”,還是隱匿在QQ、支付寶、閑魚中的地下灰産,都印證了一個令人沮喪的現實:Deepfake從未真正消失。
2019年,多倫多大學公民實驗室曾發表了一項研究,試圖探索微信如何自動審查巨量聊天中的圖片。結果顯示,微信對朋友圈和群聊的審查力度,大于一對一的私密聊天,同時,政治和社會新聞,是微信圖片審查的核心主題。
這意味著,平台對色情內容的監管,依然存在漏洞。私密聊天中進行的Deepfake色情交易,很難通過平台進行披露,除非由人主動檢舉。
但人一定能主動站出來嗎?
北京市兩高律師事務所副主任張荊,20年來經手了不少侵害女性權益的案件。多年來,她幫助女性和具體到個人的加害者、不公平的結構,甚至法律系統的漏洞抗爭。但Deepfake性侵害的發生,讓她覺得女性的鬥爭,又走到了一個更爲複雜的關卡。
“在技術不那麽發達的過去,女性遭受性犯罪,起碼能知道具體的受害者是誰,女性受到的傷害可以通過司法鑒定被量化。”張荊告訴《智能湧現》。但如今,無論是Deepfake內容的制作者,還是傳播者,都面目模糊、數量難以確定,這對取證和量刑,都造成了極大的困難。
“報警不就好了?”在網絡上,不少旁觀者都提出了疑問,甚至有不少受害女性也曾認爲,報警就好了。
但在報警之前,女性還要走過漫長的取證之路。張荊告訴《智能湧現》,“想要立案爲刑事案件,去司法機關報案的前提是有基本的證據。”
而這些基本證據又包括:Deepfake傳播的具體網站、侵權圖片的數量(數量過少不足以被立案)、傳播範圍(傳播範圍過小不足以被立案)。
“說實話,對于不經常上網的人來說,完成這一步並不容易,她們可能甚至連網站該怎麽進入都不知道。”張荊總結。
即便女性順利走到了報警、立案的一步,加害者的處置結果往往不盡如人意。
在中國裁判文書網中輸入“AI換臉”,一共只有16篇文書,最早的一起案件發生在2022年。兩年來,能夠訴諸刑事案件的Deepfake侵害事件,數量爲0。
在層層阻礙下,女性針對Deepfake的維權,成了一條不斷向下的螺旋:社會的壓力,和嚴苛的立案流程,導致鮮少有願意站出來的女性受害者;女性聲量的不足,以及立案數量的稀少,又讓立法的推進變得愈發艱難。
2023年12月,在中國台灣省,曾有一起判例,給了Deepfake受害女性些許希望。網名爲“小玉”的男網紅朱玉宸,使用Deepfake技術,將100多位知名女性合成A片,上網販賣獲利超過1300萬台幣(約288萬元)。最終,他以違反《個人資料保護法》等罪名被起訴,並被判處5年有期徒刑。
只是,五年就夠了嗎?
“過去的黃色錄像帶、3D影片,是一個具體的小衆産業,傳播很難對一個鮮活的人産生傷害。”張荊說,“但今天的Deepfake,和過去色情産業的本質區別在于,它的傳播,會對生活中具體的人産生傷害。”
這意味著,“依照傳播淫穢色情內容對Deepfake進行量刑,程度一定是會偏輕的。”她總結。
加害者面前的,是看得到頭的5年刑罰,但創傷可能會伴隨女性走過更爲漫長的歲月。
15歲那年,經曆來自後桌男生的Deepfake騷擾後,小魚開始不希望夏天到來。白色的短袖校服一旦被汗水浸濕,就會透出女生的內衣和身體的曲線。接近40攝氏度的高溫下,小魚依然選擇穿兩件短袖,阻擋男生的視線。
小魚告訴《智能湧現》,她覺得告訴老師和家長,都是無用功。她記得,班上有男生曾經開女生的黃色玩笑,或是拽拉內衣的帶子,但最後老師的回應是:都是小孩子之間的玩笑。
如今,離被騷擾已經過去了一年多的時間。升入高中後,小魚和後桌男生失去了聯系,生活又歸于平淡。只是,夏天穿兩件短袖的習慣,被小魚保持到了現在。
* 人類,還沒有做好應對Deepfake的准備
在很長一段時間內,現實可能依舊慘淡。
看到韓國Deepfake事件後,鹿影科技聯創李倩憤怒透頂,當即拉著創始人頭腦風暴到深夜,口幹舌燥之余,二人都很沮喪。“可能要帶給你一個壞消息:沒有什麽辦法能夠從技術上,直接把Deepfake性暴力給殺掉。”李倩對《智能湧現》說。
雖然無法直接根除,“以其人之道還其人之身”,是一條常規路徑。
瑞萊智慧聯合創始人蕭子豪向《智能湧現》介紹,公司內部會定期組織“紅藍對抗”,把工程師會分爲“紅軍”“藍軍”兩派,讓“紅軍”模擬真實的攻擊,而“藍軍”負責應對處置。“紅軍”一派的工程師們,爲了了解黑産手段,甚至會潛伏到黑産群體中尋找線索,持續創新攻擊手段。
對于用AI對抗Deepfake的人們來說,每天的工作,就是對抗各種意想不到的新案例。2周調優一個新版本、2個月叠代一版大模型,幾乎是標配。
但這更多是在問題出現前後的預警提示。真正的侵害發生後,要想保護女性,更多需要依靠司法編織的網。
2022年11月,中國出台了第一條明確針對Deepfake提出的規定:《互聯網信息服務深度合成管理規定》。這一規定對Deepfake內容制作者、技術服務提供商,以及制作、傳播發布行爲,都做出了規制。
但從法規的制定到真正落實,還有一條漫長道路。近20年來,張荊觀察到,無論是辦理刑事案件的律師,還是接到報案的警察、最終負責審判的檢察機關,大多都是男性。
“這是一個結構性的問題,甚至立法機關,也基本上是男性。”張荊曾經參加過一個有關廢除嫖宿幼女罪(比強奸罪量刑更輕)的研討會。
在場的不少男性律師,給出了不少支持保留嫖宿幼女罪的理由,其中一個是:如果改用強奸罪定罪,犯罪行爲人可能會铤而走險,反而讓女性受害人陷入危險的境地。
現有的成功讓加害者被拘留、定罪的個例,大多是女性積極自救的結果。
2023年的蘇州大學黃謠和AI換臉事件中,受害者就潛入傳播AI僞造圖像的聊天房,進行取證,並利用排除法,將不同標記的照片在朋友圈中分組發布,進行逐個排除,最終將加害者抓獲。
要進一步推動Deepfake性侵害的立法,和社會意識的前進,還需要一個真正的判例。
“有了判例,這段女性被迫害史才更有可能被寫進義務教育的教科書,讓性別教育前進一步。”一名在日本的女權活動者告訴《智能湧現》。
當下的AI行業,其實還是一個相當由男性主導的領域。某種程度上,從研發到産品落地過程中,都極易讓女性成爲被AI“壓迫”的群體,成爲産業中的一環。
李倩觀察到的一個數據是,從互聯網獲得的視頻模型訓練數據,40%涉及成人內容,而其中的8成,內容都是女性身體。
“色情,是當下AI C端産品最成功的商業模式。”一名投資人對《智能湧現》如此評價。最終,Deepfake的泛濫被歸結到了一個商業現實:用AI販賣女性身體,會給利益者帶來豐厚的商業回報。
對抗商業慣性,十分困難。
在融資過程中,部分投資人,無論男女都會告訴李倩,YoYo(鹿影科技的AI視頻創作平台)如果對黃色擦邊內容稍微寬容些,商業化會更順利。
從第一天起女性友好,對人力、資金有限的AI初創公司而言,要不要走出這一步,是個尤爲艱難的決定。李倩告訴“智能湧現”,從訓練數據中剔除40%的黃色數據,意味著要花額外的成本補全;如果花人力和時間給用戶輸入的提示詞設置違禁詞,産品叠代的速度至少慢兩個月。
“做創業者,是不是就要無性別地,看待商業世界?”但經曆Deepfake事件後,李倩已經不這麽認爲了,“一旦開閘,行業又多了一塊驅逐良幣的劣幣。”
如果女性能夠在行業中獲取更多技術主導權,未來會變得不一樣。
2024年9月4日,中科院的女工程師張欣怡,將自己團隊研發的Deepfake對抗模型,向全球開源。一旦有人需要幫助,就可以免費使用模型來檢測Deepfake內容。
在自己的微博中,張欣怡寫到:“如果一個人的火把太小,我們就把火把傳給世界的每一個人。”
當新技術席卷世界,司法、技術都尚未完全跟上時,普通人每一次的發聲、行動,才是社會進程得以向前推進的原因。
韓國就是一個活生生的例子——在極度男性主義的國家,女性權益的每進一步,都由布滿血和汗的鬥爭之路造就。
自2015年之後,韓國女性在#MeToo、消除網絡性暴力、終止懷孕非刑罪化等議題上開展了一系列女性主義運動,通過展開議題討論、集會遊行等等形式,這些活動從社會意識、立法制度層面,都爭取到了寶貴的成果。
曾經揭露N號房醜聞的兩位女記者姜京允、樸孝實,經受了曠日持久的網絡謾罵、侮辱和精神折磨,其中一位記者甚至多次流産。
但韓女從沒有停下腳步。N號房事件後,韓國就成立了專注于反對性剝削犯罪的女性團體“RESET”,推動了包括網絡性犯罪相關法例的制定過程。而今年5月,將Deepfake其中一名嫌疑人送進監獄的,正是此前曾揭露N號房的兩位大學生記者之一。
不能停止,不能放棄,是我們接觸到的,奔走在Deepfake事件一線的韓國女性想法。“這不是僅僅爲了我們這一代而奮鬥,而是爲了所有人的命運,”智英說,“我想要一個我的朋友、家人和所有女性都感到安全的世界。”
不同人種、國籍的女性,都開始了對韓國女性的聲援。當地時間9月3日,一群居住在倫敦的中國女權主義者,從特拉法加廣場走到韓國大使館,高唱起韓國女權運動的標志性歌曲《再次重逢的世界》,聲討韓國偷拍、AI僞造等等非法行爲。
紅色的字,被印在各式各樣的橫幅標語上:“我的生活,不是你的色情片。”
△當地時間9月3日,一群居住在倫敦的中國女性主義者進行了反偷拍、反Deepfake遊行。圖源:倫敦的中國女權主義者
(爲保護受訪者,智英、恩靜、小魚均爲化名。感謝星星、xwf、十月、lakyo、阿雞、倫敦姐妹在訪談中提供的協助。)---[訪談、文 : 鄧詠儀 周鑫雨 邱曉芬*編輯 : 楊軒/來源: 36氪 |深氪lite]