專訪Meta CTO:AI已是XR殺手應用,LLM開源社區競爭沒有輸家
【新智元導讀】Meta CTO接受訪談,大談AI開源競爭,認爲AI開源將讓所有參與者獲益。同時,XR已經准備好利用AI搭建殺手應用,Meta最近推出的AR眼鏡就是最好的例子。
最近,Meta CTO Andrew Bosworths公開接受了記者的專訪。
他針對Meta如何將AI和XR行業融合在一起,以及Meta對于開源AI社區的競爭和發展,AI人才的流動聊了很多。
當XR遇上AI,如何迸發出火花
問題:看起來,當混合現實硬件與生成式人工智能相結合時,會得到1+1大于2的效果嗎?
在7年前Michael Abrash的Connect演講中,他探討了大型AR的未來願景,強調人工智能是核心組成部分。
但之前的認識可能存在誤區,認爲需要大量狹窄的數據集才能獲得更好的AI系統。然而,這種思維方式正逐漸轉變。
眼鏡類産品在市場上的長期存在,加上人工智能的應用,就可以顯著提高眼鏡的實用性。
在大型語言模型出現之前,機器學習總是圍繞著創造價值的應用發展的。
例如,Facebook在引入News Feed排名機制之前已存在,但隨著時間的推移,其排名機制得到了改善。
類似地,所有人工智能系統通常都是基于非AI元素開始,以獲取數據集,隨後這些數據集支持人工智能系統的不斷進步。
然而大型語言模型與以往不同,它已經具有了很強的通用性。這意味著不再需要精確或完美的訓練數據,現有的人工智能技術將成爲未來Meta設備的基石。
Meta最近剛剛和Ray Ban合作推出的眼鏡就是一個例子。這款眼鏡具有攝像頭視頻、實時流媒體、優質音樂播放和通話的功能,是一款優秀的産品。
剛剛推出時,我們覺得需要一個「智能助手」來幫助用戶使用這些功能,但是6個月過後,智能助手本身成爲了眼鏡上最爲流行的功能了。
他強調,硬件産品的關鍵功能在短時間內發生改變是非常罕見的,但在眼鏡的案例中卻發生了,顯示了技術發展的迅速和不可預測性。
問:您認爲人工智能將如何在Quest中發揮作用?
在Quest上,我們真正想要實現的一些功能實際上並沒有很好的訓練數據集。
文本,我們有整個互聯網作爲資源。照片,Facebook和Instagram上有龐大的圖庫。但對于3D對象,尤其是在四維空間中動畫的3D對象,卻沒有一個大型、權威的數據庫。
這正是我們真正想要的。我們正在努力,試圖改進這個模態下的一切內容,包括能夠導出更多的3D內容。
所以混合現實和虛擬現實非常難以實現,因爲你要實現的是一個額外的維度空間上的所有內容。
但另一方面,XR和VR顯然有巨大的優勢,它們有始終開啓的傳感器。這些傳感器始終在掃描和感知空間。
Meta依然在進行研究,在3D和4D空間上看到了一些很有潛力的事情。
問:您想要實現的殺手級用例是什麽?
答:在短期內,公司重點關注的是創作者,提供了設計頭像、創建世界和遊戲等功能。
而Meta的長期目標是提高用戶與機器的交互效率,使用戶能夠同時在內容和系統層面進行交互。
例如,用戶可以直接通過簡單指令來啓動遊戲並邀請朋友參與某個遊戲。
這可能是一個非常複雜的過程,需要在系統中啓動遊戲,同時向好友發出邀請,並將他們拉到同一個應用中的同一個地方。
開源AI,Meta與社區共榮
問:請問Meta開源Llama背後的策略是什麽?
公司自2006年以來一直是開源領域的領導者。他們利用了多個開源項目,如PHP、Memcached和MySQL,這些項目幫助公司以較少的員工高效運作。他們還推動了PyTorch項目,這是一種主要的機器學習工程系統,並對其進行了開源。
開源項目的一個重要好處是圍繞它可以建立起一個社區,這使得項目自我強化。例如,使用PyTorch的行業其他成員構建的工具也爲公司所用。公司也觀察到了他們的Llama項目的成功,這個項目有著龐大的建設者社區和1億次下載記錄,已經促成了多個不同項目和商業程序的成功。
公司還強調了開源軟件的價值。他們的研究實驗室發現,開源軟件可以迅速獲得獨立第三方的驗證結果,促進進一步的發展。雖然不是所有東西都適合開源——例如,由于數據集的使用或安全考慮——但在可能的情況下,他們傾向于開源,因爲這對所有人,包括他們自己,都是雙贏的情況。
問:來聊聊Llama,您的人工智能模型家族。開源Llama背後的策略是什麽?
答:從我2006年加入Facebook那天起,Facebook一直以來就是開源領域的領導者。
PHP是開源的。如果Facebook沒有接手Memcached這個項目,我們就會倒下。
MySQL是開源的。這就是Facebook之後能夠成爲一家規模小但是效率超高的公司,並以少量員工完成如此多工作的原因之一。
Meta現在不僅在推動這些項目,而且還在推動PyTorch,這是完成機器學習工程的第一系統。我們構建並開源了它。
開源項目的一個重要好處是圍繞它可以建立起一個社區,Meta可以充分利用這個社區中的一切資源。
例如,使用PyTorch的其他成員構建的工具也爲Meta自己所用。
就Llama而言,很多人都從中受益了。已經達到了1億次下載,我們已經看到了由此産生的各種不同項目,並且有很多商業程序正在Llama基礎上取得了成功。
如果Llama繼續保持如今的發展勢頭——成爲大型開發者社區的絕對核心——Meta也將受益匪淺,這對Meta的幫助也會非常大。
另外,如果再看看成立剛好10年的FAIR,我們研究實驗室 一直以來也都秉承開源的理念。當開源軟件時,FAIR會立即獲得獨立的第三方驗證結果,然後有人在此基礎上繼續發展。
我們可以使用該結果來構建我們的下一篇論文,或者是開發我們的下一個程序。
我們不可能開源一切。比如我們的某些研究,因爲其中使用的數據集,或者因爲它的安全性,沒有辦法開源它。
但在其他條件相同的情況下,我們確實嘗試開源,並相信它將幫助包括我們在內的所有人。這是雙贏的。
問題:開源戰略對招聘有何影響?我知道有些工程師喜歡開源,而有些人工智能研究人員認爲開源如此強大的技術是不負責任的。
答:我認爲這肯定有助于我們擁有更大的招募規模,因爲更多的人熟悉您的模型以及訓練模型的方式。我們可以雇傭更多懂得如何使用PyTorch的工程師。
因此,我認爲這對于從越來越多的人中進行招聘來說確實很有好處,這些人距離在公司取得出色的成績只有一步之遙。
關于認爲「開源是不負責任」的說法,我認爲對這些大型語言模型的很多焦慮都是錯誤的。
我覺得Yann LeCun說得很好。開源模型是一個超級有趣且重要的工具。我認爲它是一個關聯數據庫。
沒有推理或計劃的能力,沒法理解世界。而且現在來看未來也不會擁有這些能力。
技術依然會不斷取得突破。這是一個非常激動人心的時刻。這是一項偉大而重要的技術。
我迫不及待地希望它的構建成本、運行成本、延遲更低、效率更高,能夠在低功耗、小型設備上運行真正強大的模型。這些都是非常重要的事情。但是會花費大量的時間和精力。
而且,大模型也不是AGI。大模型發展到極限本身不會達到AGI。馮·諾依曼關于奧本海默的那句話怎麽說來著?
「有時有人爲了獲得功勞,不惜承認自己有罪。」我認爲矽谷有時會發生很多這樣的事情。
我並不是說人們不相信它。也許有的人會相信,但是我不會。
AI人才迎來黃金時代
問:你們在招募下一位傑出的人工智能研究人員時的宣傳口號是什麽?如何讓他們加入 Meta,而不是OpenAI或Google DeepMind?
A:研究人員現在有很多選擇。現在是入行的好時機。這些公司差異很大。如果有人想加入 Google,成爲他們千人團隊一員。
但是在Meta有不同規模的團隊,每個人能獲得的個人影響力是完全不同的。OpenAI 是第三個不同的機構。他們有非常不尋常的治理結構,股權單位似乎也不太一樣。
問:那麽招聘工作還順利嗎?
答:進展順利。確實有很多偉大的人才正在離開剛剛說到的3家公司。其中一些人才將流向該另外幾家公司。
其中一些人才也將去往全新的地方,法國的Mistral是一群開發Llama的人才構成的。
按照矽谷的標准,我的職業生涯已經很長了,也就見怪不怪了。
當新技術出現時,人們的熱情就會大爆發。其中一些人才流向初創公司,一些流向老牌公司。但是一定會有更多的人才進入這個行業。
現在就是這樣一個時代,人才的總數在不斷增加。深度學習研究人員可能比一年前多了10倍。因爲人們看到這樣的需求,所以就有越來越多的人開始學習和研究這些技術了。
問:你提到了Mistral。上周推出的Mixtral模型使用了專家的混合體,這似乎與你們在 Meta 所做的事情形成了競爭。你是這樣看的嗎?
答:不。如果整個社區團結在任何開源模型周圍,並且它成爲事實上的標准,這就是發生的有趣的事情之一。
我們可以使用這個模型。它不一定來自我們,就像Memcached不一定來自我們一樣。
MySQL不是來自我們。這些都是偉大的事情。我們很高興使用它們。因此,一旦你不想與開源競爭,開源就是好的。
讓我們擁有相互競爭、采用不同策略並嘗試在不同方面超越彼此的模型。
[我的商業模式不會阻止其他人使用這項技術]
需要明確的是,Llama 團隊絕對希望擊敗所有其他模型。這種競爭是很好的,很健康。
這是人們之間出于善意和良好精神的競爭,而不是爲了生存下來的競爭。
如果你輸掉了這場比賽,你的懲罰就是你可以使用更好的模型。
參考資料:https://www.semafor.com/article/12/20/2023/meta-cto-andrew-bosworth-on-the-generative-ai-craze
-[新智元報導*編輯:潤/來源: 新智元 ]