Sora問世,如何用大模型反詐?
龍年伊始,Sora橫空出世。
2月15日(美國當地時間),人工智能研究公司OpenAI正式對外發布人工智能文生視頻大模型:Sora。一年多前該公司發布的革命性產品ChatGPT影響還在持續,而Sora一經發布便立即轟動全球AI領域,再次成為輿論焦點。
根據OpenAI的技術報告顯示,Sora這類視頻生成模型是世界的模擬器,能夠理解和模擬現實世界模型的基礎、了解物體在物理世界中的存在方式,可以根據使用者的文本提示創建最長達60秒的視頻,視頻內容能夠深度模擬真實物理世界,能生成具有多個角色、包含特定運動的復雜場景。
文生視頻大模型並非OpenAI獨創,Runway、Pika、Stable Video Diffusion等大量AI創業公司在這條賽道上百家爭鳴,但Sora發布後造成如此大轟動與熱議的原因,在於它突破性的進展,滿足了AI領域新一代生產力工具願景,從「生成視頻的長度」、「鏡頭切換與畫面流暢度」、「使用的基礎模型架構」三個方面均遠超現有同類產品水平。
目前OpenAI官網已更新了數十個視頻DEMO,在這些範例視頻中,Sora不僅精準呈現了細節,還能理解物體在物理世界中的存在,並生成了具有豐富情感的角色。
Sora的出現,可以預見未來將對影視、遊戲、廣告等內容行業產生巨大影響,同時還將推動AI服務器、AI芯片與光通信等上遊行業的發展,但在暢享正面影響的同時,存在的隱患我們也需要警惕。
在Sora問世前已有多起利用AI偽造視頻進行詐騙的案例,昭示了AI生成視頻可能被濫用於非法目的的風險。而今後Sora的普及將會進一步降低偽造視頻的門檻,由深度偽造進行的欺詐行為可能會更加泛濫。
AI技術再升級,欺詐檢測三重難關:識別、檢測、追溯
Sora的出現意味著今後利用AI升級技術實施欺詐行為門檻將變低,反欺詐產品服務類科技公司在面對更強大的欺詐攻擊時,將面臨更加嚴峻的挑戰。其中,可預見最大的變化會來自「深度偽造」。
「深度偽造」的危險不僅在於生成虛假視頻和圖片,還在於其所促成的整個詐騙生態系統:一個由機器人、虛假賬戶和匿名服務組成的錯綜復雜的網絡運作,所有這些都旨在製作、放大和分發捏造的信息和內容,具有識別難、檢測難和追溯難的問題。
除「深度偽造」外,AI生成視頻包含違法或倫理道德風險內容、合成身份、虛假信息傳播以及版權隱私侵犯等,也都是Sora將來可能帶來的棘手問題。要想防禦與打擊這些問題造成的欺詐行為,一方面需要識別檢測偽造的視頻、圖片和信息(有效甄別出虛假偽造的內容);另一方面需要實行諸如「深度偽造」欺詐行為的渠道和平臺網絡進行識別與檢測(多方面提升數字賬號的安全性)、同時還要防範由類似AI生成工具引發的假證濫用情況。
針對Sora問世後公眾產生的造假焦慮,OpenAI稱在真正面向公眾推出產品時,將確保生成視頻包含來源元數據,並推出檢測視頻真偽的工具。
OpenAI還承諾,在產品中使用Sora前將采取安全措施,包括由「錯誤信息、仇恨內容和偏見等領域的專家」對模型進行對抗性測試來評估危害或風險;核查並拒絕包含極端暴力、性內容、仇恨圖像、他人IP等文本輸入提示等。
即便如此,OpenAI也承認,盡管進行了廣泛的研究和測試,「我們仍無法預測人們將使用我們技術的所有有益方式和濫用我們技術的所有方式」。
隨著技術水平的提升,AI生成視頻的反欺詐審核迎來了新的挑戰,ADVANCE.AI作為全球領先的人工智能科技企業,致力於為全球金融機構和互聯網企業提供中立、可靠、合規的數字身份驗證和風險管理解決方案。
一直以來,ADVANCE.AI都在密切關註「深度偽造」與「合成身份」欺詐領域技術的進展,並不斷提升產品實力。由ADVANCE.AI推出的「星鑒」數字身份驗證與風險管理解決方案,產品中包含了全新升級的「3D活體檢測功能」,通過引導用戶移開/靠近相機,進行活躍度檢測,捕捉用戶近景和遠景圖像,確保用戶圖像采集的實時性,提高對重拍和深度偽造欺詐的檢測準確性,高效防範Al換臉、人臉合成等「深度偽造」身份欺詐攻擊。
而同樣防範身份偽造的「假證檢測」產品,則通過全自動化的工作流程、智能的機器學習模型,確保能夠準確、快速地識別出6大證件偽造類型,確保用戶提供的身份證件的真實性,預防欺詐行為,保護企業和機構免受身份證件偽造風險的影響。
Sora發布以來,ADVANCE.AI一直給予高度關註,面對未來由此帶來的欺詐升級,相應的反欺詐解決方案產品已加入升級計劃,有能力與信心應對欺詐領域日新月異的變化,持續為企業全球化發展保駕護航。
針對此次Sora的發布,我們采訪了ADVANCE.AI技術負責人範懷宇與ADVANCE.AI人工智能產品負責人余江波,二人分享了Sora在AI生成欺詐領域的影響判斷與防範應對的看法。
對抗「深度偽造」的黑暗升級,從算法與數據訓練上提升反欺詐技術
「在『AI視頻生成』這件事上,Sora的發布有點劃時代的意思,多年後我們甚至可以用『Sora前時代』和『Sora後時代』來進行描述,等Sora正式面向公眾發布且大面積鋪開使用後,影視、遊戲、廣告等行業肯定會有不小的變革,而在AI生成視頻欺詐領域也會有影響,欺詐者的犯罪成本和門檻進一步降低了。」
ADVANCE.AI技術負責人範懷宇說到,「而該技術對『深度偽造』這一欺詐行為的加持將是最明顯的,以往我們應對「深度偽造」監測識別的常見方法有利用圖像的特征,尋找特定篡改證據的[圖像特征檢測],以及[圖像構成真實性比對]的方法,利用人工智能技術深度偽造的圖像或視頻,在圖像細節上,還是會出現一些與基於實物正常拍攝的圖像之間的明顯偏差,比對其中的差異後進行反欺詐應對。」
範懷宇還表示「在動態視頻的深度偽造監測上,以往我們會通過檢測、觀察動態人像在一些指定角度扭動時圖像特征或構成的異常變化,可以發現是否存在偽造。
有了Sora的加持後,這類偽造視頻細節上的真實程度會大幅提升、漏洞與破綻可能會變得難以察覺,這就要求我們要提升ADVANCE.AI現有的『活體檢測功能』產品的欺詐行為識別能力,從算法與數據訓練上下功夫。」
Sora加持後的潛在欺詐行為並非完美無缺,深挖不同點賦能產品是關鍵
在Sora震撼發布後的極短時間內,ADVANCE.AI內部團隊便敏銳的感知到Sora未來可能為反欺詐領域造成的影響。雖說成熟產品還未面向大眾,但一旦正式投入市場,Sora作為利器很快便會被欺詐者瞄上作為潛在的犯罪工具,因此反欺詐戰線需要提前做出防範。
「這次OpenAI發布Sora能在各領域產生如此大的轟動,用『遙遙領先』一詞可以比較準確的定義」,ADVANCE.AI人工智能產品負責人余江波表示,「在其他AI生成視頻公司的普遍水平還在4秒左右時,Sora直接支持最大生成60秒長度視頻,直接跨越式升級15倍。從官方發布的DEMO視頻看,Sora能夠在保持主體一致性的前提下實現多角度鏡頭無縫切換,整個畫面幹凈流暢,實現了真正的視頻大片效果。
而在基礎模型架構的使用上,此前的AI生成視頻大部分都是基於『大模型+大數據』架構,因此在AI幻覺這個問題上難以突破,但Sora則已經具有了世界模型的雛形,因此內容更加符合、邏輯也更加令人信服。」
余江波還表示,「從技術上講,Sora的技術基礎包括Transformer、圖片字幕、擴散模型、視頻patches和Dit等,這些技術都是之前已經存在的,但OpenAI結合了更強大的算力和豐富的訓練數據,這些因素共同推動了Sora在AI生成視頻領域的創新。
更強的矛勢必催生更強的盾,Sora被應用在金融欺詐領域不可避免,但結合Sora背後的這些技術特點,我們可以模擬可能發生的欺詐行為,例如畫面更逼真、漏洞更少的深度偽造的AI視頻發起的欺詐行為,找出與以往既有深度偽造、合成身份欺詐行為的不同之處,進而提升我們ADVANCE.AI反欺詐解決方案產品的防禦能力,讓客戶用著安心。
除了畫面識別之外,通過更多維度的信息能更好的檢測潛在欺詐行為。這些信息網可以幫助我們搭建更加安全的反欺詐體系,包括用戶行為特征和網絡關系。」---[允中 發自 :凹非寺*量子位 :公眾號 QbitAI/來源: 量子位]