【新智元導讀】今天，小紮正式宣戰「開源AGI」！下一代大模型Llama 3正在訓練，年底將擁有35萬塊H100，屆時算力總和達60萬塊H100。爲了追趕OpenAI，成立十年的FAIR團隊納入GenAI，全力奔赴AGI。
自Llama2、Code Llama發布後，許久未現身的小紮今天正式官宣： 全力搞「開源AGI」！
短短1分45秒視頻中，小紮對Meta的戰略升級進行了分享，從AGI構建，到團隊合作，再到基礎設施的等一系列舉措。
接下來，劃重點！！！
從現在起，人工智能實驗室FAIR團隊將納入「GenAI」，緊密合作重點構建AGI，並全面開源。
目前，Meta內部正在訓練下一代模型Llama 3。截止年底，將會有近35萬塊H100搭建的基礎設施。
網友無法想象，Llama 3那得有多大！
Omdia研究數據顯示，Meta在2023年H100的出貨量爲15萬塊，與微軟持平，且是其他公司出貨量的3倍。
小紮稱，「如果算上英偉達A100和其他AI芯片，到2024年底，Meta將擁有近60萬個GPU等效算力」。
此外，小紮的「元宇宙」信仰還沒有放棄。他提到，AI最終會與智能設備結合，比如Ray-ban智能眼鏡。
30倍GPT-4算力，接近GPT-5水平
在小紮自曝Meta算力之後，Pytorch創始人Soumith Chintala表示，終于可以公開談論GPU數據了。到今年年底，Meta將擁有60塊H100等效GPU。
他還在此賣關子，讓大家自由猜測，Meta已經部署和正在使用的GPU。
CAIS的負責人驚歎道， 35萬塊H100，這比GPT-4的計算能力高出約30倍，幾乎達到了GPT-5的水平。
還有人給Meta算了一筆賬，「每台H100的成本約爲3萬美元，這意味著小紮的公司僅購買算力就需要支付約105億美元，更不用說電費了」。
而這僅僅是爲了訓練Llama 3？
另外，有網友預計150-200億美元的算力訓練爲推薦系統服務的Llama 3。
圖靈獎巨頭Yann LeCun更是有感而發，今天連發了多條推文。
FAIR的使命是開發人類水平的AI助手：是一個能夠理解世界、感知、記憶、推理、計劃和行動系統。
在不遠的將來，我們與數字世界的所有互動，都將由AI助手通過智能眼鏡和其他設備來實現。我們需要這些系統具備人類水平的智能，這樣它們才能理解世界、人和工具，從而在日常生活中幫助我們。
爲了加快進度，FAIR現已成爲人工智能産品部門GenAI的姊妹機構。與此同時，Meta正在建設大規模的計算基礎設施，以支持人工智能的研究、開發和生産。
當然，我們也致力于開放研究和開源人工智能平台（是的，Llama 3就要來了！）。FAIR是世界上將AI研究推進到新水平的最佳研究機構，而Meta則是將AI應推向數十億人群的最佳公司。
沒有開源AI，就沒有AI創業生態系統。
Meta一直嘗試去做正確的事情。
Meta一直在AI領域進行開放研究。
Meta一直在推廣開源AI平台。
經過過去一年的多次討論（有時是有爭議的），一個共識正在形成，即開源人工智能平台是不可避免的、必要的，而且是一件好事。
小紮：全員打造「開源AGI」
最近，Sam Altman在參加的世界經濟論壇中透露，人類水平的AGI即將到來，而且GPT-5正在訓練中。
2023年，人工智能領域成爲OpenAI微軟的主戰場，GPT-4、Copilot等一系列模型/産品發布，讓許多大廠望之莫及。
谷歌、Meta、蘋果等科技巨頭在AI推陳出新上，已經站在了第二梯隊。
淩晨，小紮一則視頻正式官宣，意味著Meta全員已經重振旗鼓，向全力打造開源AGI邁進。
在Ins視頻配文中，小紮寫道，
我們的長期願景是構建AGI，負責任地將其開源，並使其廣泛可用，讓每個人都能從中受益。爲了支持這一目標，我們正在將兩大AI研究團隊——FAIR和GenAI緊密結合在一起。 Meta目前正在訓練下一代模型Llama 3，並建設大規模的計算基礎設施，以支撐未來路線圖，其中包括到今年年底建成35萬塊H100，如果算上其他GPU，Meta總算力相當于近60萬個H100。此外，我們在構建以AI爲中心的新型計算設備（如Ray Ban Meta智能眼鏡）方面取得的進展也讓人非常興奮。
Llama 3匹敵GPT-4，免費開源
關于Meta下一代模型的消息，此前也有傳言稱，Llama 3的實力堪比GPT-4，而且還是免費開源。
OpenAI工程師、前谷歌大腦工程師Jason Wei去年8約在Meta組織的Generative AI Group活動中聽說：
Meta有足夠的算力來訓練Llama 3和Llama 4。Llama 3計劃達到GPT-4的性能水平，但仍將免費提供
這次也算是，Meta正式官宣Llama 3訓練中，而且LeCun也表示最新模型很快就會上線。
從2023年2月，Llama 1首次面世，到7約Llama 2的升級，Meta花了大約5個月的時間。
當時，Llama 2在某些應用上與GPT-3.5能力相媲美，而且還通過微調，額外功能讓開源社區進行優化。
Llama模型開源後所帶來的是，模型生態大爆發。
據Meta統計數據顯示，在世界最大開源社區平台Hugging Face上，Llama模型的下載量超過3000萬次。其中，僅在過去30天（9月份）內就超過了1000萬次。
另外，發布在Hugging Face的Llama版微調模型，已經多達7000+個。
而現在，得知Llama 3在訓練中，AI圈的人興奮不已。
AI團隊重組：成立10年FAIR團隊+GenAI
除了將重點放在開發AGI之外，Meta官宣最引人注目的消息就是：小紮決定將其人工智能研究團隊FAIR納入産品部門。
根據Verge的獨家采訪，成立10年FAIR團隊，將並入GenAI團隊。雖然小紮在視頻並未說明，只是透露了兩個團隊將緊密合作。
Meta此舉與谷歌合並兩大AI團隊，別無二致。
OpenAI微軟在AI圈名氣大漲讓谷歌瞬間火燒眉毛，去年4月官宣合並DeepMind和谷歌大腦團隊，統稱爲Google DeepMind。
2013年12月，在LeCun主導下，Fcabook成立了FAIR人工智能實驗室。
從成立之初，FAIR的定位便是一個負責研究技術的部門，其研究重點也大多聚焦在解決推理、預測、規劃、無監督學習等底層技術問題上。
過去幾年來，在這個實驗室中人才輩出，何恺明、SVM的締造者Vladimir Vapnik、提出隨機梯度下降法的Léon Bottou等AI領域的學者和專家。
與此同時，研究成果也是「世界級」AI，包括輕量化和模塊化的深度學習框架Caffe2、PyTorch架構等等。
而現在，Meta內部需要戰略調整，全力奔赴AGI。
說來，GenAI這一團隊的成立並未官宣。第一次露面還是在Llama 2發布時，在論文中所有作者下面一行中出現。
GenAI首次以團隊名稱出現
未來，FAIR的副總裁Joelle Pineau和首席AI科學家Yann LeCun將向Meta的首席産品官Chris Cox彙報工作。
而在此之前，他們是向負責Reality Labs的首席技術官Andrew ‘Boz’ Bosworth彙報。
對此，Cox表示，這一調整強調了AI研究對Meta及其産品長遠成功的核心作用。
「通過FAIR和GenAI更加緊密的合作，我們可以擁有一個更加統一的AI研究項目和發展藍圖。其中，Llama將成爲我們邁向AGI的主力，同時我們也將簡化新技術或創新AI研究的開發流程，確保在一個日益受到關注的領域中，能夠在法律、政策和品牌形象方面保持一致。」
專訪小紮
問：你將FAIR從Boz所負責的部門轉移到了Chris所負責的部門。這對Reality Labs有何影響？我覺得有些人可能會認爲RL將會失去它。
小紮：這絕對不是我的看法。讓我詳細說明這個決定是如何形成的：這其實是Boz的建議。
在討論如何統一研究規劃和流程時，Chris、Boz和我進行了交談。Boz表示他在AI方面投入了大量時間。但他認爲，與其讓這些問題不斷上報給Chris和Boz，不如讓他們直接參與協調工作。因此，他建議將FAIR移至Chris那裏。
在以前的模式下，FAIR相對獨立地運作，盡管它屬于Boz負責的部門，但我不確定他們是否真的認爲自己是Reality Labs的一部分。我們總是將AI工作和Reality Labs的工作視爲兩個不同的領域。Reality Labs可以作爲一個獨立的組織獨立運作，而AI則滲透到公司的各個方面。
這並不意味著所有的工作以前都集中在一個地方，或者現在都會集中在一個地方。這次調整更具體地說，是將我們的兩個主要研究實驗室並置，以便我們能在這些長期研究領域取得更多進展。在Reality Labs以前的模式中，我不認爲FAIR的負責人們會參加Boz的員工會議，它們更像是被作爲獨立項目來管理。
我認爲這次組織內部的調整並不會帶來太大的不同感。而且，鑒于AI對公司的重要性，Boz無論如何都會在這方面投入大量時間，Reality Labs也將繼續涵蓋很多AI相關的項目。
問：你是否注意到，隨著生成式AI的興起，你的個人關注點也隨之轉移了？相對于Reality Labs，你是不是發現自己在AI方面投入了更多時間，還是說這種投入每周都在變化？
小紮：這不僅僅是兩者之間的選擇問題。在2023年，最耗費我時間的是關注如何提高效率，我們改變了公司的運作方式，使其更加高效精煉。這並不意味著我們會回到過去的狀態。但我覺得我們已經建立了一套新的操作規範，現在可以比較順利地繼續進行。這需要一定的工作量，但可能只有去年我在這方面投入的時間的十分之一。
對于今年而言，這部分工作減少了，這使得我有更多的時間來專注于産品開發。至于其他需要關注的事項，今年將是一個全球範圍內重要的選舉年。顯然，包括美國在內的選舉，但我認爲，從曆史角度來看，今年可能是全球選舉最密集的一年。我認爲確保我們在所有的誠信維護工作上做得出色也同樣重要。因此，這方面今年會比以前更受關注。
身處一種模式中頗爲有趣，不是在削減事務，而是我們又可以專注于創造新的東西。這是一種令人愉悅的狀態。---[新智元報導*編輯：桃子 好困/來源: 新智元 ]
參考資料：https://www.theverge.com/2024/1/18/24042354/mark-zuckerberg-meta-agi-reorg-interview
https://www.theverge.com/2024/1/18/24043547/inside-meta-ai-reorg-mark-zuckerberg
