01-神魔宇宙 ***宇宙天國首部曲 彌勒天書閣 https://maitreya-books.com/ 神話從來就不是怪力亂神,而是原始先民在日常生活情況的觀察之中,所建立的真實認知。唯有相信神話中的真實,才能感受到神話的詩意隱喻背後,所具有的神聖力量。打開你的想像,打開你的相信,你才能知道神話告訴了你什麼宇宙生命的資訊。 生命起源於宇宙之中,生長於宇宙之中,結束於宇宙之中,因此,宇宙的起源就是生命背景的起源。生命形成的每一個階段,其實都在述說著生命的本能,也就是生命本就存在的一種力量,在此雖是說明一種狀況,然而將這狀況投射在生命的生活行動之中,你就會明白自己究竟有哪些不可思議的本能!

開源大模型正在殺死閉源?

2023100715:21



「OpenAI不足為懼,開源會慢慢趕上來。」

彼時Hugging Face創始人Clem Delangue的一句預言,正在迅速成為現實。

ChatGPT橫空出世7個多月後,7月19日,Llama 2宣布開源,並且可直接商用。

如今回看,這一天也成為了大模型發展的分水嶺。在此之前,全世界開源的大模型不計其數,可只是停留在開發研究層面。「可商業」短短三個字,猶如一顆重磅炸彈引爆了大模型創業圈,引得傅盛連連感嘆,「有的人哭暈在廁所,而有的人在夢中也能笑醒」。

AI大模型圈一夜之間變了天,同時也宣告着大模型加速商業化時代的到來。

自Llama 2後,開源逐漸成為主流趨勢。以Llama架構為首,先掀起了一波以其為核心的開源,如Llama 2低成本訓練版、Llama 2最強版、微調版等等。截至發稿前,以「LLama 2」為關鍵詞在國外最大的AI開源社區Hugging Face檢索模型,有5341條結果;在全世界最大的開源項目託管平台Github上,也有1500個詞條。


(圖源:Hugging Face官網)-(圖源:Github官網)

之後,創業者們的目光從解構、增強Llama 2轉向了構建行業專有大模型,於是又掀起了一波Llama 2+司法、Llama 2+醫療等一系列的行業開源大模型。據不完全統計,Llama 2開源後,國內就湧現出了十幾個開源行業大模型。

國內頭部廠商和創業公司紛紛加入開源浪潮中,阿里QWEN-7B開源一個多月下載量破100萬,9月25日升級了QWEN-14B;百川智能開源的Baichuan-7B、13B兩款開源大模型下載量目前已經突破500萬,200多家企業申請部署開源大模型。

與此形成強烈對比的是,短時間內,Llama 2對一些閉源的大模型廠商造成了致命性的打擊。閉源大模型多採用調取API的方式使用,數據需要先上傳至模型廠商,按照調用次數收取費用;而開源則可以在本地部署,且完全免費,可商用後產生的利潤也可以收歸己有。

行業內人士告訴光錐智能:「在這種情況下,基於成本的考慮,已經開始有許多企業選擇放棄支付上千萬元的費用,轉而部署和微調Llama 2」。

以上種種,共同揭開了大模型開源閉源之爭,發展重心的轉移也讓人疑惑:開源大模型是否正在「殺死」閉源?

大模型開源,開的是什麼?

光錐智能梳理後發現,目前,大模型廠商和創業公司在開源和閉源的選擇上,一共有三條路徑:

一是完全閉源,這類代表公司國外有OpenAI的GPT-3.5、GPT-4,國內有百度的文心大模型;

二是先閉源再開源,這類代表公司有阿里雲的通義千問,智譜AI開源GLM系列模型;

三是先開源再閉源,這類代表公司有百川智能的Baichuan-7B、Baichuan-13B。

現在中國市場上能夠主動開源大模型,且提供商業許可的企業數量還比較有限,主要公司包括了以開源為切入的百川智能、大模型廠商代表阿里、大模型初創公司代表智譜AI以及走精調Llama 2路線的虎博科技。



這從側面也說明了一個問題,大模型開源並不是沒有門檻,相反開源對一家企業的基礎技術能力要求十分高,比如智譜AI的GLM-130大模型是去年亞洲唯一入選斯坦福大學評測榜的大模型;阿里通義千問大模型在IDC的「AI大模型技術能力評估測試」中獲得了6項滿分。

如果再進一步將以上的公司分類,可以歸為兩類,一類是走自研大模型開源路線,一類是走Llama 2路線。

這兩條路線在國際上也十分典型,譬如走自研模型開源路線的Stability AI,已經陸續開源了Stable DiffusionV1、StableLM、Stable Diffusion XL(SDXL)1.0等模型,憑一己之力撐起了文生圖開源領域;另一類如中東土豪研究院就死盯住Llama 2,在其基礎上繼續做大參數、做強性能, Llama 2開源50天後,地表最強開源模型Falcon 180B橫空出世, 霸榜Hugging Face。

不過,這兩條路線也不是完全涇渭分明,Llama 2的開源也進一步促進了許多自研開源大模型的更新升級。8月Stability AI迅速推出類ChatGPT產品——Stable Chat,背後的大語言模型Stable Beluga就是其在兩代Llama的基礎上精調出來。更開放,更快迭代發展,這或許也是開源的意義。

除了逆天的Falcon,目前開源模型的參數基本都控制在7B-13B左右。大模型廠商告訴光錐智能,「目前7B-13B億參數量是一個較為合理的開源規模」。這是基於多重因素所得出的參數量規模,如計算資源限制、內存限制、開源成本考量等。

阿里雲CTO周靖人基於雲廠商的角度考慮道:「我們希望企業和開發者,在不同的場景可以根據自己的需求選擇不一樣規模的模型,來真正地應用在自己的開發環境。我們提供更多可能性。」

談起為何開源大模型,周靖人強調了安全性,「我們不單單只是開源大模型,更重要的是要能夠呈現出各項指標的表現效果,基於此,才能夠讓大家去評估其中的使用風險,更加有效地進行模型應用。」

「重要的是,隨着參數量的增加,模型效果提升會逐漸收斂。當模型達到一定規模後,繼續增加參數對效果提升的邊際效益只會下降,70-130億參數量一般已經接近收斂狀態了。」上述大模型廠商道。

光錐智能發現,除了阿里雲在視覺語言模型的細分領域發布了開源大模型外,其餘公司皆提供的是通用能力的大模型。這或許與大模型開源仍處於非常早期階段有關係,但考慮到開源大模型也要落地到場景中,太過於同質化的通用大模型對企業來說也容易淪為「雞肋」。

如何避免開源大模型重蹈覆轍,體現出開源的價值,回顧Meta接連祭出的「大招」,一條開源的路徑似乎逐漸顯現——構建開源大模型生態。

2月份,Meta憑藉開源的Llama大模型回到生成式AI核心陣列;

5月9日,開源了新的AI 模型ImageBind,連接文本、圖像 / 視頻、音頻、3D 測量(深度)、溫度數據(熱)和運動數據六種模態;

5個月後,Llama 2開源可商業,含70億、130億和700億三種參數規模,其中700億參數模型能力已接近GPT-3.5;

8月25日,Meta推出一款幫助開發人員自動生成代碼的開源模型——Code Llama,該代碼生成模型基於其開源大語言模型Llama 2;

8月25日,發布全新AI模型SeamlessM4T,與一般AI翻譯只能從文本到文本不同,這款翻譯器還能夠「從語音到文本」或者反過來「從文本到語音」地直接完成翻譯;

9月1日,允許開源視覺模型DINOv2商業化,同時推出視覺評估模型FACET。

可以看到,Meta開源的思路是在各個AI領域遍地開花,通過發布該領域最先進的AI開源模型,吸引更多開發者的關注和使用,壯大整個AI開源生態後來反哺業務、鞏固行業地位,這就如同當年的英偉達推動GPU計算的開源策略。

當年英偉達推動GPU計算的開源化,不僅吸引了大量研究人員在Caffe、TensorFlow等框架上進行創新,也為自身GPU產品積累了大量優化經驗,這些經驗後來也幫助英偉達設計出了更適合深度學習的新型GPU架構。

另一方面,GPU計算的開源生態越來越繁榮後,也為其帶來了巨大的市場空間,Nvidia DGX企業級的深度學習訓練平台概念應運而生,為英偉達的顯卡和平台銷售創造了千億級市場。

國內阿里雲也在通過建設完善生態的方式,試圖幫助開發者更好的用好大模型,據周靖人介紹,目前阿里雲不僅有自研開源大模型,也接入了超過100個開源模型,同時打造了開源社區魔搭,更好地服務開發者和企業用戶,用好、調好大模型。

開源閉源不矛盾,是手段而非目的

據外媒爆料,Meta正在加緊研發全新的開源大模型,支持免費商用,能力對標GPT-4,參數量比Llama 2還要大上數倍,計劃在2024年初開始訓練。

國外大模型格局看似是OpenAI「一超多強」,實則是眾多公司環伺,可以預見,開源大模型對閉源的圍剿,越來越步步緊逼。


國外一份研究報告稱,大模型前期的發展創新由OpenAI、微軟、谷歌等大公司閉源模型主導,但越到後期開源模型和社區的貢獻值就越大。

光錐智能也了解到,在國內開源大模型也成為了企業的「新賣點」,有企業甚至通過對外宣稱已使用了「史上最強大模型Falcon 180B」,來展現其底層模型技術能力的強大,頂着「史上最強」的稱號,又收割了「一波韭菜」。

現階段,開源大模型已經證明了幾點重要的事實。

首先,在非常大的數據集上進行訓練,擁有幾十億個參數的大模型在性能上就可以與超大規模大模型相媲美;其次,只需要極少的預算、適量的數據以及低階適應(Low-rank adaptation,LoRA)等技術就可以把小參數的大模型調到一個滿意的效果,且將訓練成本降低了上千倍。開源大模型為現在的企業提供了閉源的替代方案,低成本成為最吸引他們的地方;最後,我們也看到開源大模型的發展速度也遠快於封閉生態系統。

開源固然「迷人」,但更為關鍵的是, 既不能為了開源而開源,也不能為了閉源而閉源。開源與閉源只是形式上的區別,並不矛盾,開源本身不是目的,而是手段。

以開源切入大模型賽道的百川智能,在發布完Baichuan-7B、Baichuan-13B開源大模型後,王小川拿出了Baichuan-53B閉源大模型。在問到為什麼沒有繼續開源時,王小川回答稱:「模型變大之後沒有走開源的這樣一種方式,因為大家部署起來成本也會非常的高,就使用閉源模式讓大家在網上調用API」。

由此可見, 是否開源或閉源並非完全沒有參考,能夠閉源一定是其能夠提供價值。在當前,這個價值的集中體現可能是替用戶完成高性能的大模型訓練、推理和部署,通過調用API的方式來幫助降低門檻,這也是OpenAI閉源的思路,但因為其自身技術的絕對領先優勢,使得其價值也非常得大。

如果回顧紅帽子公司的開源,也能探尋到同樣的邏輯。過去十多年間,紅帽從銷售企業Linux操作系統,擴展到現在的存儲、中間件、虛擬化、雲計算領域,靠的就是「篩選價值」的邏輯。在最上游的開源社區,參與開源技術貢獻,做大做強生態;提取開源社區中的上游技術產品,沉澱到自己小開源社區;再將其認為最有價值的技術檢驗、測試、打包,形成新的產品組合,完成閉源出售給客戶。

騰訊雲數據庫負責人王義成也曾對光錐智能表示:「開源的本質也是商業化,要從宏觀層面看是否能滿足一家公司的長期商業利益。開源的本質還是擴大生態,擴大你的影響力。開源還是要找清楚自己的定位,目標客戶群。開源能否幫助產品突破,幫助公司完成阻擊,還需要具體問題具體分析。」

結尾

事實上,開源還是閉源,二者並不是完全對立的關係,只是在技術發展的早期,路徑選擇的不同。

這也並不是科技領域第一次面對這樣的分叉路,參考數據庫發展的路徑,早期需要培育土壤,培植生態,以MySQL為主的開源數據庫獲得了爆發式的用戶增長,但走過第一階段後,更多企業用戶發現開源數據庫在面對業務時的短板,畢竟術業有專攻,誰也沒辦法一招打天下。

為此,數據庫廠商開始根據不同的企業需求針對性的研發閉源數據庫,如在分布式數據庫、流數據庫等細分類別進行長足的創新。

周靖人也認為:「未來,一定不是one size fits all」,不同的場景適配不同的參數,不同的形式,屆時大模型將走過野蠻生長階段,來到精耕細作。

這也足以說明,開源還是閉源,或許只是階段和位置的不同,但可以肯定的是,大模型時代,已經加速進入下一賽段。-[文:光錐智能*作者:郝鑫*編輯:劉雨琦/鈦媒體]