下面這個視頻，是真人場景？還是由人工智能（AI）生成的？
從很多細節和既有事實上來看，黴黴說中文的視頻肯定是虛構的，出自「生成式 AI」之手。
如今，通過製作逼真的視頻內容，AI 視頻生成工具正在改變設計、營銷、娛樂和教育等行業。尤其是 Sora、Gen-3 等文生視頻模型，只需要輸入幾行 prompt 文字，便可以生成逼真、連續、高質量的視頻大片。
這一技術在為世界各地創作者帶來無數可能性的同時，也為普通大眾帶來了諸多危害和風險，尤其是在傳播虛假信息、宣傳、詐騙和網絡釣魚等方面。
因此，如何準確識別 AI 生成的視頻，已成為每一個人都需要關心的問題。
日前，哥倫比亞大學楊俊鋒（Junfeng Yang）教授團隊便開發了一種名為 DIVID（DIffusion-generated VIdeo Detector）的文生視頻檢測工具，對於由 SORA、Gen-2 和 Pika 等模型生成的視頻，檢測準確率達到了 93.7%。
相關研究論文（包含開源代碼和數據集）已於上月在西雅圖舉行的計算機視覺與模式識別會議（CVPR）上展示。
DIVID 是如何煉成的？
現有的 Deepfake 檢測器在識別 GAN 生成的樣本方面表現出色，但在檢測擴散模型生成的視頻方面魯棒性不足。
在這項工作中，研究團隊通過 DIVID 這一新工具來檢測由 AI 生成的視頻。據介紹，DIVID 基於該團隊今年早些時候發布的成果——Raidar，其通過分析文本本身來檢測由 AI 生成的文本，而無需訪問大語言模型（LLM）的內部運作。
Raidar 使用 LLM 來重述或修改給定文本，然後測量系統對該文本的編輯次數。編輯次數越多，意味著文本更可能是由人類撰寫；編輯次數越少，意味著文本更可能是機器生成的。
他們使用相同的概念開發了 DIVID。DIVID 通過重構視頻並將新重構的視頻與原始視頻進行對比來工作。它使用 DIRE 值來檢測擴散生成的視頻，因為該方法基於這樣一個假設：由擴散模型生成的重構圖像應彼此非常相似，因為它們是從擴散過程分布中采樣的。如果存在顯著的變化，原始視頻可能是人類生成的，如果沒有，則可能是 AI 生成的。
圖 | DIVID 的檢測流程 。在步驟 1 中，給定一系列視頻幀，研究團隊首先使用擴散模型生成每個幀的重建版本。然後通過重建幀和其對應的輸入幀計算 DIRE 值；在步驟2中，基於 DIRE 值序列和原始 RGB 幀訓練 CNN+LSTM 檢測器。
該框架基於這樣一個理念：AI 生成工具根據大數據集的統計分布創建內容，導致視頻幀中的像素強度分布、紋理模式和噪聲特征等「統計均值」內容，以及幀間不自然變化的微小不一致性或更可能出現在擴散生成視頻中的異常模式。
圖 | 在域內測試集上的檢測性能。 DIVID 在準確率（Acc.）和平均精度（AP）方面優於基線架構。 RGB 表示原始視頻中的像素幀值。
相比之下，人類創作的視頻表現出個性化，偏離統計常態。DIVID 在其基準數據集中對 Stable Vision Diffusion、Sora、Pika 和 Gen-2 生成的視頻實現了高達 93.7% 的檢測準確率。
未來展望
目前，DIVID 是一個命令行工具，用於分析視頻並輸出其是由 AI 還是人類生成的，且僅供開發者使用。研究人員指出，他們的技術有潛力作為插件集成到 Zoom 中，以實時檢測深度偽造電話。團隊還考慮開發一個網站或瀏覽器插件，使 DIVID 對普通用戶可用。
研究人員目前正在改進 DIVID 的框架，以便處理來自開源視頻生成工具的不同類型的合成視頻。他們還在使用 DIVID 收集視頻以擴展 DIVID 數據集。
「我們的框架在檢測 AI 生成內容方面取得了重大進展，」 該論文的作者之一、蔡昀蕓（Yun-Yun Tsai）博士說道。「有太多不法分子在使用 AI 生成視頻，關鍵是要阻止他們並保護社會。」---[撰文：馬雪薇/來源: 學術頭條]
https://arxiv.org/abs/2406.09601
https://techxplore.com/news/2024-06-tool-ai-generated-videos-accuracy.html
*谷歌等科技巨頭承認：AI可能會損害它們的業務*
7月4日消息，如今，人工智能似乎已經無處不在，但有些科技巨頭終於承認了它可能帶來的風險。
自OpenAI於2022年11月發布聊天機器人ChatGPT以來，人工智能迅速成為科技行業熱議的焦點。在那之後的幾個月裏，谷歌、Meta、微軟等科技巨頭紛紛加大了在人工智能領域的投資力度。
這些大型科技公司一直在公開宣布他們加入人工智能競賽的計劃，但最近，他們也開始正視並低調應對該技術可能對各自業務造成的不利影響。
在2023年年度財報中，谷歌母公司Alphabet表示，其人工智能產品和服務「引發了道德、技術、法律、監管和其他方面的挑戰，可能會對我們的品牌形象和市場需求產生負面影響」。
同樣，Meta、微軟和甲骨文也在提交給美國證券交易委員會（SEC）的文件中，在「風險因素」部分闡述了他們對人工智能的擔憂。
微軟表示，其生成式人工智能功能「可能容易受到來自老練對手的意外安全威脅」。
Meta在2023年年度財報中稱：「在開發和部署人工智能功能的過程中，我們面臨著重大風險。這些風險包括但不限於人工智能的應用未必能增強我們的產品或服務，或對我們的業務產生正面影響，如提升效率或盈利能力。」
Meta接著列舉了一些具體因素，強調生成式人工智能可能帶來的負面影響，如錯誤信息的廣泛傳播（尤其在大選等敏感時期）、有害內容的滋生、侵犯知識產權以及數據隱私泄露等，這些都可能對用戶造成不利影響，並使公司面臨法律訴訟的風險。
與此同時，公眾對於人工智能技術的擔憂也日益加劇，主要聚焦於其可能導致的工作崗位流失、基於個人數據的大語言模型訓練引發的隱私顧慮，以及錯誤信息快速傳播對社會的潛在危害。
6月4日，多位來自OpenAI的在職和離職員工簽署了一封致科技公司的信，要求它們采取更多措施來減輕人工智能的風險，並保護對其安全性提出質疑的員工。
信中寫道，這些威脅包括「加劇現有的不平等、操縱和擴散錯誤信息，以及失去對可能導致人類滅絕的自主人工智能系統的控製」。
截至本文發布，Meta、谷歌和微軟都還沒有回應置評請求。---[文源：易科技報導/文: 小小*責任編輯：王鳳枝]
