OpenAI下一代模型提前曝光，為當前激烈的大模型之戰再添一把大火。
據科技媒體The Information稍早前報道，OpenAI神秘「草莓」（Strawberry，前身為Q*）項目，計劃最早今年秋天推出。用「草莓」合成數據來開發的最新大模型「獵戶座」（Orion），或於明年年初推出。
隨著技術的快速進步，大模型正變得越來越復雜，越來越強大，它們能夠解鎖的經濟價值也隨之增長。然而，投資機構Benchmark合夥人Sarah Tavel認為，一旦有更先進的模型出現，舊模型的價值就會迅速降低甚至為零，因此需要玩家持續不斷地投入巨額投資，保持行業的領先地位。
大模型之功，唯快不破
Tavel在早前的文章中指出，大模型的進步不僅僅是技術的突破，它們還代表著巨大的經濟潛力。
她認為，大模型從輔助編程（copilot）發展到自動編程（autopilot），其創造的價值幾乎是無限的，如果有人成為主導玩家，這可能是一個數萬億美元的市場機會。
其中，微軟與OpenAI共同推出的AI編程工具GitHub Copilot，聲稱能提升10-20%的生產率，如果完全部署，每年有望產生1000-2000億美元的價值。據估計，全球每年在軟件工程師上的支出高達1萬億美元，大模型的進步將大幅減少企業在軟件開發上的人力支出。
編程還只是冰山一角，隨著大模型能力的增強，它們能夠處理的任務將更加復雜，潛在的經濟價值也將更加巨大。
挑戰在於，隨著模型變得更加復雜，訓練它們所需的資本也以指數級增加。而一旦有更先進的模型出現，舊模型的價值就會迅速降低甚至為零，這使得投資回報難以預測。
以GPT3.5為例，2022年11月剛推出時，其性能吊打一眾競爭對手的同時，定價也遙遙領先，每1000個token的定價為0.0200美元。短短一年半時間，現在其定價已經降至每1000個token 0.0005美元，降幅達到97.5%。
這種快速的商業化速度在科技領域是歷史罕見，意味著大模型相關投資都可能迅速貶值。正因為如此，AI公司仍在爭先恐後地加碼對大模型的投資，以最終達到人工通用智能（AGI）的宏偉目標，這一過程不太可能輕易跳過任何一步。
「贏家通吃」？
這也意味著，誰能在大模型開發中爭取到主動權，誰就能成為這場戰爭的大贏家，從而獲得豐厚的回報，而那些落後者則只能分得一些殘羹剩飯。
Tavel指出，像微軟、谷歌、Meta這樣的巨頭公司由於擁有強大的資金支持，能夠持續投資於這一領域。這些公司的核心業務產生大量現金，使得它們能夠不斷加碼對大模型的投資，以保持在大模型領域的領先地位。
然而，值得註意的是，隨著投資者回歸理性，市場焦點逐漸集中在大模型的盈利能力上。在大模型的激烈競爭中，投資者可能在短期內難以看到顯著的投資回報。
著名風險投資公司紅杉資本的合夥人David Cahn此前指出，AI基礎設施的巨額投資和實際收入之間，差距已經到了匪夷所思的地步。
鑒於英偉達預計2024年第四季度年化數據中心運行率為1500億美元，現在需要6000億美元來償還訓練和運行大模型的巨額投資，目前至少有5000億美元的空缺需要填補。
Tavel認為，隨著大模型競爭越來越激烈，這一差距只會越來越大。---[文源：硬AI*作者：蔔淑情/來源: 華爾街見聞官方]
*德國OpenAI加入開源大戰！發布歐洲純血版模型，曾獲博世和惠普投資*
智東西8月27日消息，據VentureBeat報道，德國AI創企Aleph Alpha今日發布了兩個大語言模型（LLM）。這兩個模型各擁有70億個參數，可以在多種歐洲語言中提供簡潔、長度可控的響應，並已開源。該公司宣稱，其模型的性能可以與其他在70億到80億參數量級的頂尖開源模型相媲美。
除了新發布的模型，Aleph Alpha之前還開發了擁有700億參數（大約是GPT-3的2/5）的預訓練模型Luminous，並在其基礎上訓練了聊天機器人Lumi。該公司成立於2019年，通常被視為歐洲在AI領域的重要參與者之一。2023年11月7日，該公司宣布獲得超過5億美元（折合約36億人民幣）B輪融資，由博世風投、施瓦茨集團、SAP、惠普等知名財團參投。
下載地址：Aleph-Alpha/Pharia-1-LLM-7B-control at main (huggingface.co)
一、與Mistral、Llama能力相近，且更安全透明
Aleph Alpha發布了兩個版本的模型：標準版（Pharia-1-LLM-7B-control）和「對齊」版（Pharia-1-LLM-7B-control-aligned）。其中，「對齊」版模型經過了進一步的訓練，目的是降低模型輸出中的有害內容和偏見，從而提高模型的安全性和可靠性。
這兩個模型都在多語言基礎語料庫上訓練，並針對德語、法語和西班牙語進行了文化和語言優化，能提供簡明扼要、長度可控的回答。該公司在官網上發布了模型在AlpacaEval（由來自斯坦福的團隊開發的大語言模型評測系統）上的評測結果：
標準版Pharia在德語、法語和西班牙語上的表現和法國的模型Mistral、美國的模型Llama相差不大，但在英語上的表現則不如兩者。「對齊「版Pharia則大體上比標準版Pharia表現略差一點。
▲Pharia與Mistral、Llama的分數比較。其中，WR指勝率，LC指長度控製勝率（即較短的完成結果優先於較長的）。---（圖源：Aleph Alpha發布在Hugging Face上的Model card）
據Aleph Alpha官網介紹，模型的訓練數據經過嚴格篩選，確保符合歐盟及相關國家法規中的版權和數據隱私法律。相比之下，許多大語言模型則依賴於大量網絡抓取的數據。除了版權和隱私問題之外，網絡抓取的數據還可能包含錯誤、過時或不準確的信息，包含偏見和歧視，甚至可能含有對安全造成威脅的惡意內容。
該公司還開源了其訓練代碼庫「Scaling」，這不僅讓研究人員能夠使用模型，還讓他們能夠理解並改進模型的訓練過程本身。
此外，該模型引入了創新的技術，使用了一種稱為「分組查詢註意力」（Group Query Attention，GQA）的技術。Aleph Alpha聲稱這提高了推理速度，且幾乎沒有犧牲質量。模型還采用了「旋轉式位置編碼」（Rotary Position Embedding，RoPE）的方法，使模型能夠更好地理解句子中單詞的相對位置。
二、注重模型合規性的歐洲AI：可審計模型在受監管行業中或有獨特優勢
隨著AI技術的飛速發展，其在金融、醫療等高度受監管行業中的應用日益增多。這些行業對AI系統的透明度和問責性有著嚴格要求。歐盟即將實施的AI法案進一步強調了這些要求，預計將於2026年生效。
在這樣的背景下，Aleph Alpha的模型發布策略與歐盟AI法案的監管方向保持一致，顯示出該公司對監管適應性的高度重視。通過開源模型，Aleph Alpha將自己定位為符合歐盟標準的AI開發先鋒。這一開源策略有利於應對日漸增長的行業監管壓力和公眾對AI倫理的要求。
企業客戶越來越需要能夠確保合規性和倫理性的AI解決方案。隨著對AI解決方案在特定監管環境下審核和定製的需求增加，Aleph Alpha的開放方法使其在這些市場中具有潛在的競爭優勢。特別是在監管合規性越來越重要的歐洲市場，Aleph Alpha的戰略與「可解釋AI」趨勢一致，可能為企業AI解決方案中的透明度設定新的標準。
結語：AI霸權的競賽中，開源模型該如何取勝？
通過倡導開放性、堅守合規性以及不斷推動技術創新，Aleph Alpha正在挑戰目前由科技巨頭主導的封閉和不透明的AI開發模式。該公司開放了Pharia模型及其訓練代碼，這一行動有助於緩解公眾對於AI系統」黑箱」特性的擔憂，增強對AI技術的信任，這種透明度對於建立公眾信任至關重要。
然而，從長遠來看，這種開源方法是否能夠與科技巨頭形成有效競爭，仍然有待觀察。雖然開放性有助於激發創新並吸引開發者社區，但它也需要大量的資源來持續推動並圍繞這些模型構建一個繁榮的生態系統。Aleph Alpha需要在促進社區參與和實現戰略發展之間找到合適的平衡點，以保持在迅速演變的AI行業中的競爭力。---[來源：VentureBeat、Aleph Alpha官網、Hugging Face/智東西/編譯: Vendii*編輯: 漠影]
