【新智元導讀】2026年的數據荒越來越近，矽谷大廠們已經爲AI訓練數據搶瘋了！它們紛紛豪擲十數億美元，希望把犄角旮旯裏的照片、視頻、聊天記錄都給挖出來。不過，如果有一天AI忽然吐出了我們的自拍照或者隱私聊天，該怎麽辦？
誰能想到，我們多年前的聊天記錄、社交媒體上的陳年照片，忽然變得價值連城，被大科技公司爭相瘋搶。
現在，矽谷大廠們已經紛紛出動，買下所有能購買版權的互聯網數據，這架勢簡直要搶破頭了！
圖像托管網站Photobucket的陳年舊數據，本來已經多年無人問津，但如今，它們正在被各大互聯網公司瘋搶，用來訓練AI模型。
爲此，科技巨頭們願意拿出實打實的真金白銀。比如，每張照片價值5美分到1美元，每個視頻價值超過1美元，具體情況去取決于買家和素材種類。
總之，爲了購買AI訓練數據，巨頭們已經展開了一場地下競賽！
而最近鬧得轟轟烈烈的Meta圖像生成器大翻車事件，更是讓AI的訓練數據「刻板印象」暴露無遺。
如果喂給模型的數據無法改變「偏見」，那各大公司要遭遇的輿論風波，只怕少不了。
Meta的AI生圖工具畫不出來「亞洲男性和白人妻子」或「亞洲女性和白人丈夫」
巨頭狂砸數十億美元，只爲買到數據「黃金」
根據路透社報道，在2000年代，Photobucket處于巅峰期，擁有7000萬用戶。而今天，這家頂級網站的用戶已經驟降到了200萬人。
但生成式AI，給這家公司帶來了新生。
CEO Ted Leonard開心地透露，目前已經有多家科技公司找上門來，願意重金購買公司的130億份照片和視頻。
目的，當然就是訓練AI。
爲了得到這些數據，各大公司都非常舍得割肉。
而且，他們還想要更多！據說，一位買家表示，自己想要超過10億個視頻，而這，已經遠遠超出了Photobucket能提供的數量。
據粗略估計，Photobucket手中握著的數據，很可能價值數十億美元。
OpenAI陷起訴風波，版權太敏感了
現在眼看著，大家的數據都不夠用了。
根據Epoch研究所的分析，到2026年，科技公司很可能會耗盡互聯網上所有的高質量數據，因爲他們消耗數據的速度，遠遠超過了數據的生成速度！
訓練ChatGPT的數據，是從互聯網上免費抓取的。
Sora的訓練數據來源不詳，CTO Murati接受采訪時支支吾吾的表現，險些又讓OpenAI大翻車。
雖然OpenAI表示，自己的做法完全合法，但前方還有一堆版權訴訟在等著他們。
而其他大科技公司都跟著學乖了，大家都在悄悄地爲付費牆和登錄屏幕背後的鎖定內容付費。
如今，無論是陳舊的聊天記錄，還是被遺忘的社交媒體上褪色的舊照片，忽然都變成了價值連城的東西。
而各大公司已經紛紛出動，急于尋找版權所有者的授權。畢竟，私人收藏的東西，是無法抓取的。
外媒記者走訪了30多名專業人士，發現這背後隱藏的，是一個黃金市場。
雖然很多公司對于這個不透明的AI市場規模表示緘默，但Business Research Insights等研究人員認爲，目前市場規模約爲25億美元，並預測十年內可能會增長近300億美元。
生成數據淘金熱，讓數據商樂開花
對科技公司來說，如果不能使用免費抓取的網頁數據檔案，比如Common Crawl，那成本會是一個很可怕的數字。
但是一連串版權訴訟和監管熱潮，已經讓他們別無選擇。
甚至，矽谷已經出現了一個新興的行業——數據經紀人。
而圖片、視頻供應商們，也隨之賺得盆滿缽滿。
手快的公司，早就反應過來了。ChatGPT在2022年底亮相的幾個月內，Meta、谷歌、亞馬遜和蘋果就已經迅速和圖片庫提供商Shutterstock達成協議，使用庫中的數億份圖像、視頻和音樂文件進行訓練。
根據首席財務官透露的數據，這些交易從2500萬美元到5000萬美元不等。
而Shutterstock的競爭對手Freepik，也已經有了兩位大買家，2億張圖片檔案中的大部分，會以2至4美分的價格授權。
OpenAI當然也不會落後，它不僅是Shutterstock的早期客戶，還與包括美聯社在內的至少四家新聞機構簽署了許可協議。
* 讓內容「合乎道德」
同時興起的，還有AI數據定制行業。
這批公司獲得了與播客、短視頻和與數字助理互動等現實世界內容的授權，同時還建立了短期合同工網絡，從頭開始定制視覺效果和語音樣本。
作爲代表之一的Defined.ai，已經把自己的內容賣給了谷歌、Meta、蘋果、亞馬遜、微軟等多家科技大廠。
其中，一張圖片賣1到2美元，一部短視頻賣2到4美元，一部長片每小時可以賣到100到300美元，文本的市價則是每字0.001美元。
而比較麻煩的裸體圖像，售價爲5到7美元，因爲還需要後期處理。
而這些照片、播客和醫療數據的所有者，也會獲得總交易額20%至30%的費用。
一位巴西數據商表示，爲了獲得犯罪現場、沖突暴力和手術的圖像，他需要從警察、自由攝影記者和醫學生手裏去買。
他補充說，他的公司雇用了習慣于看到暴力傷害的護士來脫敏和標注這些圖像，這對未經訓練的眼睛來說是令人不安的。
而將圖像脫敏、標注的工作，則交給慣于看到暴力傷害的護士，畢竟未經訓練的人眼看到這些圖像，會很不安。
然而，這些AI模型的「燃料」，很可能會引發嚴重的問題，比如——吐出用戶隱私。
專家發現，AI會反刍訓練數據，比如，它們會吐出Getty Images水印，逐字輸出紐約時報文章的段落，甚至再現真人圖像。
Getty Images指責Stability AI「以驚人的規模肆無忌憚地侵犯它的知識産權」
也就是說，幾十年前某人發布的私人照片或私密想法，很可能在不知情的情況下，被AI模型原樣吐了出來！
這次「ChatGPT在回複中泄露陌生男子自拍照事件」，讓大家頗爲恐慌
這些隱患，目前還沒有有效方法解決。
調查顯示，用戶願意每月多付1美元，讓自己的個人數據不被第三方使用
* Altman，也看上了合成數據
另外，Sam Altman也早看到了合成數據的未來。
這些數據不是人類直接創造的，而是由AI模型生成的文本、圖像和代碼，也就是說，這些系統通過學習自己産生的內容來進步。
既然AI能創造出接近人類的文本，當然也就能自産自銷，幫自己進化成更先進的版本。
只要我們能夠跨過合成數據的關鍵阈值，即讓模型能夠自主創造出高質量的合成數據，那麽一切問題都將迎刃而解。 ——Sam Altman
不過，這件事真的這麽容易嗎？
人工智能研究者們已經研究合成數據多年，但要構建一個能自我訓練的人工智能系統並非易事。
專家發現，模型如果只依賴于自我生成的數據，可能會不斷重複自己的錯誤和局限，陷入一個自我加強的循環中。
這些系統所需的數據，就像是在叢林中尋找一條路徑，如果它們僅僅依賴于合成數據，就可能在叢林裏迷路。 ——前OpenAI研究員、現任不列顛哥倫比亞大學計算機科學教授Jeff Clune
對此，OpenAI正在探索如何讓兩個不同的人工智能模型協作，共同生成更高質量、更可靠的合成數據。其中一個負責生成數據，另一個則負責評估。
這種方法是否有效，還未可知。
「規模」Is All You Need
數據爲什麽對AI模型這麽重要？這要從下面這篇論文說起。
2020年1月，約翰斯·霍普金斯大學的理論物理學家Jared Kaplan與9位OpenAI研究人員共同發表了一篇具有裏程碑意義的人工智能論文。
他們得出了一個明確的結論：訓練大語言模型所用的數據越多，其性能就越好。
正如一個學生通過閱讀更多書籍能學到更多知識一樣，大語言模型能通過更多的信息更精確地識別文本模式。
很快，「只要規模足夠大，一切就皆有可能」便成爲了AI領域的共識。
論文地址：https://arxiv.org/abs/2001.08361
2020年11月，OpenAI推出的GPT-3，便利用了當時最爲龐大的數據進行訓練——約3000億個token。
在吸收了這些數據後，GPT-3展現出了驚人的文本生成能力——它不僅可以撰寫博客文章、詩歌，甚至還能編寫自己的計算機程序。
但如今看來，這個數據集的規模就顯得相當小了。
到了2022年，DeepMind將訓練數據直接拉到了1.4萬億個token，比Kaplan博士在論文中預測的還要多。
然而，這一記錄並未保持太久。
2023年，谷歌發布的PaLM 2，在訓練token上更是達到了3.6萬億——幾乎是牛津大學博德利圖書館自1602年以來收集手稿數量的兩倍。
爲訓GPT-4，OpenAI白嫖100萬+小時YouTube視頻
但正如OpenAI的CEO Sam Altman所說，AI終究會消耗完互聯網上所有可用的數據資源。
這不是預言，也不是危言聳聽——因爲Altman本人就曾親眼目睹過它的發生。
在OpenAI，研究團隊多年來一直在收集、清理數據，並將其彙集成巨大的文本庫，用以訓練公司的語言模型。
他們從GitHub這個計算機代碼庫中提取信息，收集了國際象棋走法的數據庫，並利用Quizlet網站上關于高中考試和作業的數據。
然而，到了2021年底，這些數據資源已經耗盡。
爲了下一代AI模型的開發，總裁Brockman決定親自披挂上陣。
在他的帶領下，團隊開發出了一款全新名的語音識別工具Whisper，可以快速准確地轉錄播客、有聲讀物和視頻。
有了Whisper之後，OpenAI很快便轉錄了超過100萬小時的YouTube視頻，而Brockman更是親自參與到了收集工作當中。
最終的故事大家都知道了，在如此高質量數據的加持下，地表最強的GPT-4橫空出世。
谷歌：我也一樣
有趣的是，谷歌其實早就知道OpenAI在利用YouTube視頻收集數據，但從未想過要出面阻止。
你猜的沒錯，谷歌也在利用YouTube視頻來訓練自家的AI模型。
而如果要對OpenAI的行爲大加指責，他們不僅會暴露自己，甚至還會引發公衆更加強烈的反應。
不僅如此，那些儲存在Google Docs、Google Sheets等應用裏的數十億文字數據，也是谷歌的目標。
2023年6月，谷歌的法律部門要求隱私團隊修改服務條款，從而擴展公司對消費者數據的使用權限。
也就是，爲公司能夠利用用戶公開分享的內容開發一系列的AI産品，鋪平道路。
據員工透露，他們被明確指示要在7月發布新的條款，因爲那時大家的注意力都在即將到來的假期上。
7月1日發布的新條款不僅允許谷歌使用這些數據開發語言模型，還能用于創建像Google Translate、Bard和Cloud AI等廣泛的AI技術和産品
Meta數據不足，高管被迫天天開會
同樣在追趕OpenAI的，還有Meta。
爲了能夠超越ChatGPT，小紮不分晝夜地催促公司的高管和工程師加快開發一個能與之競爭的聊天機器人。
然而，到了去年年初，Meta也遇到了和其他競爭者一樣的難題——數據不足。
盡管Meta掌管著龐大的社交網絡資源，但不僅用戶沒有保留帖子的習慣（很多人會刪除自己之前的發布），而且Facebook畢竟也不是一個大家習慣發高質量長文的地方。
此前，小札曾自豪聲稱Meta Platforms的訪問數據，是Meta AI的一大優勢
生成式AI副總裁Ahmad Al-Dahle向高層透露，爲了開發出一個模型，他的團隊幾乎利用了網絡上所有可找到的英文書籍、論文、詩歌和新聞文章。
但這些還遠遠不夠。
2023年3月到4月，公司的商務發展負責人、工程師和律師幾乎每天都在密集會議，試圖找到解決方案。
他們考慮了爲獲取新書的完整版權支付每本10美元的可能性，並討論了收購出版了斯蒂芬·金等作者作品的Simon & Schuster的想法。
與此同時，他們還討論了未經允許就對網絡上的書籍、論文等作品進行摘要的做法，並考慮進一步「吸收」更多內容，哪怕這可能招致法律訴訟。
好在，作爲行業標杆的OpenAI，就在未經授權的情況下使用了版權材料，而Meta或許可以參考這一「市場先例」。
根據錄音，Meta的高管們決定借鑒2015年作家協會（Authors Guild）對谷歌的法庭判決。
在那個案例中，谷歌被允許掃描、數字化並在在線數據庫中編目書籍，因爲它僅在線上複制了作品的一小部分，並且改變了原作，這被認定爲合理使用。
在會議中，Meta的律師們表示，用數據訓練人工智能系統應當同樣被視爲合理使用。
但即便如此，Meta似乎還是沒攢夠數據……
* AI生圖工具拒絕「白人和亞洲人」合影
最近，外媒The Verge的記者在多次嘗試後發現，Meta的AI圖像生成工具並不能創建一張東亞男性和白人女性同框的圖片。
不管prompt是「亞洲男性與白人朋友」、「亞洲男性與白人妻子」、「亞洲女性與白人丈夫」，還是經過魔改的「一位亞洲男性和一位白人女性帶著狗微笑」，都于事無補。
當他將「白人」改爲「高加索人」時，結果依舊如此。
比如「亞洲男性和高加索女性的婚禮日」這個prompt，得到的卻是一張身穿西裝的亞洲男性與身著旗袍/和服混搭的亞洲女性的圖像……
AI居然難以想象亞洲人與白人並肩而立的場景，這著實有些匪夷所思。
而且，在生成的內容中，還隱藏著更加微妙的偏見。
舉個例子，Meta總是將「亞洲女性」描繪成東亞面孔，似乎忽略了印度作爲世界上人口最多國家的事實。與此同時，「亞洲男性」多爲年長者，而亞洲女性卻總是年輕化。
相比之下，OpenAI加持的DALL-E 3，就完全沒有這個問題。
對此，有網友指出，出現這個問題的原因是Meta在模型訓練時沒有輸入足夠多的場景示例。
簡而言之，問題不在于代碼本身，而在于模型訓練時所使用的數據集不夠豐富，沒有充分覆蓋所有可能的場景。
但更深層次的是，AI的行爲是其創造者偏見的體現。
在美國媒體中，「亞洲人」通常就是指東亞人，不符合這一單一形象的亞洲人幾乎從文化意識中被抹去，即便是符合的人也在主流媒體中被邊緣化。
而這，只是因數據造成的AI偏見的一隅而已。---[新智元報導*編輯：Aeneas 好困/來源: 新智元 ]
參考資料：
https://www.reuters.com/technology/inside-big-techs-underground-race-buy-ai-training-data-2024-04-05/
https://www.nytimes.com/2024/04/06/technology/tech-giants-harvest-data-artificial-intelligence.html
https://www.theverge.com/2024/4/3/24120029/instagram-meta-ai-sticker-generator-asian-people-racism
