“Sora的出現超乎所有人的預期，我們在2021年制定的部分防禦策略，今天可能已經不適用了。”
瑞萊智慧RealAI聯合創始人&算法科學家蕭子豪告訴「甲子光年」。
雖然Sora還未對普通用戶公開測試，但是Sora生成視頻的逼真效果，不得不讓人“未雨綢缪”。
試想一下，如果騙子利用Sora生成一個人被搶救或者被綁架的視頻，再用“AI換臉”技術換成目標當事人親友的形象，同時利用特殊方法切斷當事人與親友之間的聯系，進而實施詐騙。如果在沒有各方安全防護措施的情況下，是有可能成功的。
即使沒有詐騙，虛假新聞、謠言也會對社會産生不良影響。
“人工智能進入爆發式發展的關鍵階段。我們主張發展與安全並重，既要擁抱新事物新機遇，也要裝好刹車再上路，共同推進人工智能全球治理。”3月7日，中共中央政治局委員、外交部長王毅在回答記者有關人工智能的提問時明確表態。
據不完全統計，在今年的全國兩會上，已有20多位代表、委員圍繞“人工智能”提出了相關建議。其中，“安全”與“合規”是他們關注的焦點。
早在ChatGPT出現之初，「甲子光年」就曾在《第一批因ChatGPT坐牢的人，已經上路了》一文中寫道：“在ChatGPT技術前景、商業模式都還方興未艾的時刻，圍繞自身的‘犯罪方案’以及所造成的負面影響卻已真實發生。由新技術衍生的網絡信息安全以及違法犯罪等方面的風險，成了擺在全球AI科學家、企業以及國家面前的嚴肅問題。”
一年後，Sora的出現，讓新的安全問題出現在了人們面前，而出現多年的“AI換臉”技術也在不斷叠代升級。
無論是近期香港警方披露的涉案金額高達2億港元的“AI換臉”詐騙案，還是前段時間梅西澄清視頻被質疑“AI換臉”風波，都讓更多人意識到“眼見不一定爲實”，AI帶來的爭議和風險其實就在人們身邊。
“安全問題就像氣候問題一樣，如果大家現在只看重發展，不重視安全問題，一直拖延下去，等到很嚴重的時候再行動可能就太遲了。”蕭子豪說。
震撼、好奇與恐慌情緒交織，面對生成式AI模型帶來的全新挑戰，監管方、AI安全廠商乃至置身其中的每一個人又該如何應對？
隱秘的角落
生成式AI模型是Deepfakes（深度僞造）的技術基礎，而以“AI換臉”爲代表的人臉僞造技術是Deepfakes的一個重要分支。
2019年，兩位藝術家和一家廣告公司制作了Facebook創始人馬克·紮克伯格 (Mark Zuckerberg) 的Deepfakes視頻，並將其上傳到Instagram。
這段視頻由藝術家Bill Posters和Daniel Howe與廣告公司Canny合作制作，視頻中馬克·紮克伯格坐在辦公桌前，似乎在發表有關Facebook權力的演講。
“想象一下：一個人完全控制了數十億人被盜的數據、他們所有的秘密、他們的生活、他們的未來，”AI版“紮克伯格”在視頻中說，“誰控制了數據，誰就控制了未來。”
原始的真實視頻來自紮克伯格2017年9月在Facebook上發表的一次演講。Instagram的帖子稱其是使用CannyAI的視頻對話替換 (VDR) 技術創建的。
可以看到，AI版“紮克伯格”已經十分逼真，整個畫面像是一個真實的新聞片段，詞條寫著“我們正在提高廣告的透明度”。
這件事引起了Facebook以及輿論的強烈反對。此後，Deepfakes技術迅速生長叠代爲一種新型騙局。在畢馬威發布的報告中，80%的領導者相信Deepfakes對其業務構成風險，但只有29%的人表示他們已采取措施打擊這些風險。
隨著生成式AI模型的發展，以Deepfakes爲代表的安全問題也愈發難以被檢測。
開源生態繁榮的背面，也讓生成式AI更容易被濫用。開源模型的開源協議一定程度上犧牲了開發者對模型的掌控。爲了滿足開源許可要求，其他人需要能夠研究、使用、修改和共享人工智能系統。“修改”，則意味著其他人可以刪除人工智能模型的原始創建者添加的任何保護措施。
這些新生的AI安全隱患也直指人性的幽暗之處——情色、暴力、金錢詐騙與權力爭鬥。
互聯網觀察基金會 (IWF) 發現，犯罪分子正在用開源人工智能來創建兒童性虐待材料 (CSAM)。根據IWF報告，短短一個月內，他們在一個暗網論壇上記錄了20000張人工智能生成的圖像。令人毛骨悚然的是，IWF指出，罪犯社區經常討論Stable Diffusion模型。
據《紐約時報》報道，雖然尚未證明這些圖像是如何制作的，但網絡安全公司Reality Defender認爲有90%的可能確認這些圖像出自Diffusion模型。
近期，新澤西州一所高中的學生制作了一個可以從女孩照片中制作露骨圖像的網站，女同學報告說，她們是人工智能生成的裸照在學生中分發的受害者。而據哥倫比亞廣播公司（CBS）新聞報道，這只是高中發生的許多類似事件的一個例子。 流行歌手泰勒·斯威夫特 (Taylor Swift) 此前也深受其害。
生成式AI也正在“重塑”詐騙産業鏈。
近期，香港警方披露了一起多人“AI換臉”詐騙案，涉案金額高達2億港元。據央視新聞報道，一家跨國公司香港分部的職員受邀參加總部首席財務官發起的“多人視頻會議”，並按照要求先後轉賬多次，將2億港元分別轉賬15次，轉到5個本地銀行賬戶內。之後，其向總部查詢才知道受騙。警方調查得知，這起案件中所謂的視頻會議中只有受害人一個人是“真人”，其他“參會人員”都是經過“AI換臉”後的詐騙人員。
相似的案件此前也有發生，2023年4月20日，內蒙古包頭市發生了一起金額高達430萬元的詐騙案件，也與“AI換臉”有關。
此外，政治宣傳和誤導也是深度造假帶來危害的領域。據美聯社報道，今年1月，有人用AI模仿美國總統拜登的聲音，給新罕布什爾州的選民打電話幹擾選舉。
生成式AI雖然正以前所未有的速度重塑工業、科研及日常生活的方方面面，但由此帶來的安全隱患也正在不斷下探至更隱秘的角落。
不過，魔高一尺，道高一丈。針對這些隱患的應對措施也在加速完善。
魔高一尺，道高一丈
作爲全球人工智能領域的風向標，OpenAI的一舉一動都被放在顯微鏡下審視。安全，是OpenAI必須要完成的課題。
2023年9月，OpenAI推出“Red Teaming Network（紅隊網絡）”。
圖片來源：OpenAI官網
這是一個簽約專家組，旨在幫助爲公司的人工智能模型提供風險評估信息。目前，紅隊可以捕捉（盡管不一定修複）OpenAI的DALL-E 2等模型中的種族或性別偏見內容。
此外，OpenAI打算將識別元數據納入任何面向公衆的産品的未來版本中；現有的防禦措施將拒絕違反公司使用政策的prompt，包括描述極端暴力、性內容和名人肖像。
同時，OpenAI和Meta等公司正在研究幫助識別人工智能制作內容的措施。例如，在創建人工智能制作內容時加上獨特的“水印”，或在分發時引入檢測人工智能圖像特征的算法。
然而，雖然相關工作已經取得了一些成果，但開源仍可能是一道頑固的裂痕，一些利用開源模型的犯罪分子不會配合使用這些功能；分發後檢測人工智能生成的圖像也只能在一定程度的置信度下完成，目前還會産生太多的誤報或漏報。
除了企業使用技術手段“以牙還牙”之外，政府監管力度也在大幅收緊。
美國時間2023年7月21日，拜登于在白宮召集了七家發展人工智能技術的頭部公司——亞馬遜、Anthropic、谷歌、Inflection AI、Meta、微軟和OpenAI，並獲得了七家人工智能頭部企業的自願性承諾，確保人工智能技術的安全性、有保障性和可信任性。
同時，白宮呼籲七家領先的人工智能公司同意自願保護未發布的模型權重。模型權重相當于人工智能模型的“秘密武器”，其他人能夠通過修改模型權重，在沒有保障措施的情況下在新系統中重新創造他們的能力。
不止國外，國內也針對生成式AI的安全防禦快馬加鞭。
瑞萊智慧便是其中之一，他們的策略是“用AI檢測AI”。
瑞萊智慧RealAI于2018年7月依托清華大學人工智能研究院發起設立，面向城市治理、金融、教育科研、智能汽車等行業場景，提供以通用AI模型、AI安全爲核心能力的AI平台産品與行業解決方案。
瑞萊智慧RealAI聯合創始人&算法科學家蕭子豪告訴「甲子光年」，目前對于AI換臉技術有兩種主流方法，一種是識別視頻是否有編輯痕迹，如液化、磨皮等均會留下特殊的編輯痕迹；一種是判斷視頻內容是否違背常識。此前，谷歌Gemini 1.5便用第二種方法“拆台”Sora，指出Sora生成視頻違背物理常識。
不過，蕭子豪表示，谷歌Gemini基于人類反饋訓練，這也間接決定了其在識別AI生成視頻時存在一定局限性——人類無法識別的Gemini也無法識別。爲此，瑞萊智慧著重開發相應技術識別人眼無法識別的痕迹。
整體來看，生成式AI生成的虛假視頻檢測，或許需要一套完全不同于早年“AI換臉”的檢測技術。“AI換臉的攻擊方法比較多，但攻擊區域比較小。但生成式AI的僞造方法還比較少，除了Diffusion外，其他技術路線做出來的視頻都不夠逼真，瑕疵會暴露在整幅畫面上。”
“AI生成視頻的檢測和傳統的AI換臉會有不同，但究竟有多大不同還無法確定，需要看更多Sora的視頻示例才行。”蕭子豪表示，團隊正在對生成式AI進行一次系統性梳理，預判可能的發展趨勢。從技術上看，Diffusion模型生成的視頻會有特別的頻譜或噪點。
中科睿鑒也是數字安全領域的代表性玩家，已在該賽道深耕近20年。
Sora的出現給AI視頻檢測帶來了更大不確定性，帶出了“真的假視頻”（AI生成視頻），“假的假視頻”（真人擺拍冒充Sora生成視頻）等現象，判真判假都很重要。更有網友戲稱：現在有真的真視頻、假的真視頻、真的假視頻、假的假視頻……
生成視頻與真實視頻檢測結果對比，圖片來源：中科睿鑒
對此，中科睿鑒也在內部做了大量有關Sora生成的視頻測試。結果顯示，目前Sora生成的視頻在技術上是能檢測的。
中科睿鑒公布的數據顯示，已實現針對Sora的生成視頻鑒定，實測准確率85%以上。除了Sora，睿鑒生成視頻檢測引擎對十余種其他主流技術路線生成的視頻，平均檢出率在90%以上。
中科睿鑒告訴「甲子光年」，面對生成模型技術原理突破帶來的成代際的快速躍升，檢測模型僅僅靠數據和算力的線性叠代是不夠應對的，建設和積累僞造檢測的AI底座和專用基礎模型能力至關重要。
國家監管方面也正在加快腳步。
2023年發布的《最高人民法院、最高人民檢察院、公安部關于依法懲治網絡暴力違法犯罪的指導意見》已有明確規定，對“利用‘深度合成’等生成式人工智能技術發布違法信息”的情形予以從重處罰。
3月4日下午，在全國政協十四屆二次會議上，全國政協委員、全國工商聯副主席、奇安信集團董事長齊向東建議，從供給側的角度可以鼓勵各行業頭部企業與專業安全廠商結成創新聯合體，在關鍵行業選取典型場景開展聯合創新，共同探索大模型安全創新産品在威脅檢測、漏洞挖掘、指揮研判等方面的應用，在實戰中推動“AI+安全”進入越用越強的良性循環。
從需求側角度，齊向東表示，積極的政策引導是推動新事物落地應用、成長壯大的催化劑。建議像支持新能源汽車的發展一樣，支持“AI+安全”發展，設置專項基金，對研發創新“AI+安全”産品的企業，給予政府基金、貼息貸款或科研項目等支持；對率先取得技術突破，實現成果轉化的科研機構和企業給予獎勵；對積極使用相關技術、産品和服務的企業給予相應補貼，推動“AI+安全”相關産業取得更多科技創新成果。
全國人大代表、農工黨中央委員、南昌大學元宇宙研究院院長闵衛東也提出，應當加快研究數字技術防範人工智能風險的相關建議。他建議，在人工智能飛速發展的同時，也要建立起相應的數字之“盾”，拉緊人工智能的“缰繩”。
全國人大代表、科大訊飛董事長劉慶峰則建議圍繞大模型的數據安全、隱私泄露、可靠性、知識産權等幾大關鍵方面制定法律法規，提升通用人工智能技術可靠性與規範性；並針對通用人工智能技術可能帶來的社會風險、倫理挑戰和人類文明變化進行開放式課題研究。
不過，一個殘酷的現實是——建立數字之“盾”的命題依然任重而道遠。
一場永無止境的“追擊”
2021年世界人工智能大會上，瑞萊智慧發布了生成式人工智能內容檢測平台DeepReal。
DeepReal檢測演示，圖片來源：瑞萊智慧
彼時，Deepfakes的主要形式是通過換臉公衆人物傳播虛假言論；黑産也在用AI換臉詐騙獲利。瑞萊智慧發布該産品的兩大初衷，就是過濾虛假信息和反詐騙。
“近幾年AI發展太快，有時我們會高估它的速度，有時會低估，但大多數時候都在低估，”蕭子豪說，“Sora的出現超乎所有人的預期，我們在2021年制定的部分防禦策略，今天可能已經不適用了。”
2022年，ChatGPT引爆生成式AI的熱潮後，蕭子豪明顯感到客戶需求增加了。“AIGC産品有其成熟和落地的周期，我們的檢測技術也受AIGC技術和産品周期的影響。”蕭子豪透露，接下來，産品叠代的重心將是持續適應攻擊算法的演化。瑞萊智慧正在改進內部研發流程，從根本上提高適應的速度。
毋庸置疑，生成式AI的普及會給AI安全廠商乃至全社會帶來更大的挑戰。
不過，在蕭子豪看來，最大的挑戰不在于技術。“AIGC産品生成的視頻人眼辨識的難度確實增加了，但從技術角度出發，AI攻擊和防禦技術的gap總體並沒有質的加大。”
真正的挑戰在于，在客戶的實際場景中，AI安全廠商常常要“戴著鐐铐跳舞”。真正將一套AI安全解決方案落地到客戶場景時，並不完全是技術比拼，首先要做的是把帳算清楚。“客戶場景的數據特點、硬件條件以及具體的場景需求各有不同，我們需要考慮到方方面面。”蕭子豪表示。
長遠來看，AI安全更大的挑戰在于，社會是否真正意識到了AI安全的緊迫性。“安全問題就像氣候問題一樣，如果大家現在只看重發展，不重視安全問題，一直拖延下去，等到很嚴重的時候再行動可能就太遲了。”蕭子豪告訴「甲子光年」。
畢竟，“防禦”相對于“攻擊”本就帶有了被動意味。攻擊技術變化多端，大多時候都是檢測技術在追趕攻擊技術。安全廠商和攻擊方之間，是一場永無止境的“追擊”。---來源: 钛媒體-
