大模型打響開閉源之戰
大模型的開、閉源之戰,開始得比想象中早上一些。
7月18日,Facebook母公司Meta表示,將發布其開源大模型Llama的商用版本,為初創企業和其他企業提供了一個強大的免費選擇,以取代OpenAI和谷歌出售的昂貴的專有模型。同時宣布,Llama將由微軟通過其Azure雲服務分發,並將在Windows操作系統上運行,並稱微軟是「我們的首選合作夥伴」。
一時間,有不少分析人士認為,Llama將改變AIGC的產業格局。Meta 副總裁、人工智能部門負責人楊立昆也趕來站台,「Llama 2 將改變大語言模型市場的格局。」事實真的如此沒有懸念嗎?
開源(Open Source),即開放源代碼,最早起源於20世紀50、60年代的美國。早期開發互聯網技術和電信網絡協議時,研究人員需要進行開放式的協作環境。而1968年Internet的先驅阿帕網(ARPANET)的建立,成為了對開放源代碼可行性展示的標誌。到了1985年,自由軟件運動領袖理查德·斯托曼(Richard Stallman),看到以專利軟件為手段的商業化逐漸取代實驗室中免費可自由流通的軟件後,發表了著名的GNU宣言,開啟了開源運動,最終導致了免費的Linux操作系統的誕生。
自ChatGPT爆火以來,將其開源的呼聲未曾斷絕。可就在ChatGPT2發布之後,OpenAI選擇了閉源發展。這也未必完全出於規避競爭的考量,就算某天OpenAI真的完全open了,其他同行也不能簡單複製其成功的路徑。
因為ChatGPT能夠引發「iPhone時刻」的原因在於,強大的生成能力給予了人們不一樣的場景體驗。但這背後依賴OpenAI很長一段時間內在算力、算法和數據方面的積累。實際上,在這場全球大模型軍備賽中,有關開源發展和閉源深耕的爭論將繼續下去不止不休。
開源or閉源
歷史的車輪總會重複碾過,在互聯網發展史上,有關開源和閉源的戰爭一直都在上演。
除了上文理查德·斯托曼的GNU宣言,打響對閉源的第一槍外,隨後的PC時代有關開閉源的爭論也沒停過。
PC剛興起之時,微軟內部的研發團隊通過閉源開發Windows操作系統,並開發配套的應用軟件如Office等,並在生態建設方面組局Inter形成 Wintel 聯盟,成功搶占了PC市場。而Linux在那個時期,則屬於自發的「民間組織」,由全球開發者共同參與建設,通過開源與微軟形成了一定的競爭。
到了移動互聯網時代,谷歌的Android和蘋果的iOS開閉源之爭,也是各自走出了不同的路徑。基於Android的開放,誕生了一大批的定製化手機操作系統,比如國內小米的MIUI、OPPO的ColorOS等,就連車機端的比亞迪車機系統都是基於Android開發而來。當然,就商業成功的角度來看,微軟和蘋果的陣地一定時期內更加牢靠。
在SaaS的發展史上,軟件的開源也與上同理。中科院院士、CCF開源發展委員會主任王懷民教授關於開閉源認為,在一個確定發展方向的時代中,閉源公司的推進效果是明顯的,競爭力也是極強的。「但當一個不確定性的互聯網時代到來時,開源吸引了全球開發者參與其中的可能,使得後來的服務器操作系統、雲操作系統、手機操作系統、物聯網操作系統都是以開源的Linux為基礎。」
國外有ChatGPT與Llama之爭,國內的大模型廠商也各有千秋。
如阿里雲、智譜和清華EKG、百川智能等,選擇了開源。阿里雲公布1+4開源戰略,推出大模型方向的開源新勢力魔搭GPT。阿里巴巴達摩院高級算法工程師李晨亮,曾對外表示,「開源生態肯定是有助於大模型的繁榮。」反之,華為的盤古大模型就選擇了閉源,也是為了其數據隱私和商業收益的考慮。
價優者勝?
大模型開源之後,會吸引更多的人才參與進入,加快技術進步,但想要實現突破,還需要從底層理解模型框架和算法基本原理。眾所周知,人工智能三要素是:算力、算法和數據。開源只是處於算法階段,之後還需要對其進行大量的算力支持和數據訓練,這背後的成本就相當高昂。
以OpenAI為例:業內人士表示,大模型訓練和運行將耗費巨大的算力資源和數據,僅是在 2022 年,OpenAI 總計花費就達到了 5.4 億美元,與之形成鮮明對比的,則是其產生的收入只有 2800 萬美元。
有行業消息透露,一家上市公司的人工智能部門打算用OpenAI的GPT-3.5開發功能,但迫於成本和定製開發以及不支持同一時間響應大量用戶請求的原因,選擇了參數量更小的Llama和一個國內公司的開源大模型,在後期的訓練和部署的成本也會更低。
「開源模式的任何漸進式改進都在蠶食閉源模式的市場份額,因為你可以以更低的成本運行它們,而且依賴性更小。」 軟件開發平台Replit的首席執行官Amjad Masad表示。
開源也能讓其他新加入者更快適應AI產業。比如在谷歌泄漏的文件中就提到:幾乎任何人都能按照自己的想法實現模型微調,到時候一天之內的訓練周期將成為常態。以這樣的速度,微調的累積效應將很快幫助小模型克服體量上的劣勢。
更多的人進來使用,就會產生更多的數據。這些互聯網原生內容的常態化訓練,遠比一家公司僅憑一己之力去做數據的採集和標註要簡單得多。
共享出Llama的Meta 表示,收集的數據代表着根據經驗採樣的人類偏好,由人類標註員選擇自己更喜歡兩條模型輸出中的哪一條。人類給出的反饋意見隨後將用於訓練獎勵模型,該模型會不斷學習人類標註員的偏好模式,再據此自動執行偏好決策。
開源的好處顯而易見,閉源的道理也邏輯紮實。
元創資本的研究顯示,相較於開源來說,閉源模型相對成熟、數據質量更有保障,同時也省去了部署的麻煩,費用相對較低,僅需支付token的費用。
當然最重要的是,對於廠商來說, 閉源還有着商業的考量。根據權威雜誌《Fast Company》預測,OpenAI 2023年的收入將達到2億美元,包括提供API數據接口服務、聊天機器人訂閱服務費等。
對壘剛開始
上個月,獵豹移動CEO傅盛與投資人朱嘯虎的口水戰引發熱議。核心衝突就在於行業對於大模型的價值思考,在於大模型能不能解決問題。
如今,以OpenAI為代表的大公司、強算力、強算法,共同砌成了一道普通創業者和開發人員難以突破的圍牆,以至於當市場上出現其他類似開源的應用時,人們都認為是大模型行業的壟斷要被打破了。
實際上,自OpenAI推出ChatGPT引發全球跟風以來,英偉達的股價便迎來了暴漲,主要源於廠商對算力芯片的強烈需求。換句話說,即使開源了人人都有大模型,那算力、算法和數據訓練的工作還是需要有人來做。並且開源也僅僅相當於開放了設計圖紙,你可以在圖紙上進行調優,但並不代表就能完整造出一幢建築。
就比如一些大模型產品剛上線時,經常出現語義理解不準確,產出結果令人啼笑皆非的現象。背後原因就是對高質量數據的篩選和訓練得過少,導致數據的準確性直接影響人工智能的產出結果。
但訓練數據並不是一時的,涉及到數據的採集、清洗、標註的另一條產業鏈。在過去的很長一段時間內,這個環節都是由專門的數據處理公司來做,也就是說,需要進行長期的人力投入。
有業內的數據優化工程師表達了類似看法,大模型本身的泛化能力仍受限於數據。如果說ChatGPT要替代某個職業或崗位的話,最簡單的一個判定標準即是,是否具備數量足夠多、質量非常好的數據。同理,想要通過開源去打破壟斷的模型,還需要對數據進行足夠的優化,對基礎設施的投入足夠得多。
大模型的開閉源之爭,終究不會是靠某一個或幾個產品的出現而終結,更多的還要頂尖人才參與、技術迭代和資金支持。想要打破壟斷,還需要考慮時間的因素以及對高質量數據的篩選。
開或閉,從來不是最根本的問題,產品體驗與市場需求的匹配,才是起決定作用的勝負手。-(文:科技新知/鈦媒體)