馬斯克旗下初創公司xAI正式宣布開源大模型Grok-1,影響有多大?
【環球時報報導 記者 : 樊巍】美國當地時間3月17日,馬斯克旗下的人工智能初創公司xAI正式宣布開源大模型Grok-1,遵循Apache 2.0協議開放模型權重和架構。xAI官網顯示,xAI已經將Grok-1的權重和架構在軟件托管平台GitHub上開源。美國《紐約時報》17日的報導稱,馬斯克開源Grok背後的原始代碼,這是世界上最富有的人之一升級其控制人工智能未來戰鬥的結果。
xAI在其官網上介紹,Grok-1是3140億參數的混合專家模型,這也讓Grok-1成爲迄今參數量最大的開源大語言模型,是Llama 2的4倍。相比之下,公開資料顯示,OpenAI GPT-3.5的參數量爲1750億,Grok-1大幅領先。xAI還在官網上進一步公布了Grok-1的一些細節,基礎模型基于大量文本數據訓練,未針對特定任務進行微調。3140億參數構成的混合專家模型,其中25%的參數能夠針對特定的數據單元激活。
參數量究竟意味著什麽?北京郵電大學人機交互與認知工程實驗室主任劉偉3月18日接受《環球時報》記者采訪時介紹稱,參數量的大小,反映了模型的複雜度和表達的能力。參數量越多的模型,它學習複雜模式和關系、處理各種任務的能力更強。
然而xAI並沒有在發布的內容中透露Grok-1的具體測試成績,對于Grok-1的真實水平,劉偉認爲目前還難以判斷。“但有一點可以確定,如果真如xAI公司所言,Grok-1的參數量達到了3140億,那麽它的參數量比OpenAI GPT-3.5的1750億參數量多了將近一倍,這意味著Grok-1的水平肯定要在GPT-3.5之上。”劉偉同時表示,Grok-1是否比GPT-4更強,還不好下定論。此外,Grok-1在落地之後,還要根據反饋不斷地進行調整,目前對于Grok-1的“生産力”有多大,下判斷還爲時尚早。
Grok-1一經發布,其引發的“開源”和“不開源”之爭,就成爲業內關注的焦點。xAI正式宣布開源大模型Grok-1當天,馬斯克還與ChatGPT在社交平台X上進行了“互動”,馬斯克轉發OpenAI的留言稱,“告訴我們OpenAI到底open在哪裏了”。
《紐約時報》報導稱,所謂的開源,也就是通過將代碼開放給所有人查看和使用,馬斯克由此進一步介入了人工智能領域的一場激烈辯論,即開源是否有助于使技術更安全,還是只讓它容易被濫用。
Grok-1的發布也被美國媒體認爲是馬斯克與ChatGPT的研發公司OpenAI之間的最新一次交鋒。此前,馬斯克對OpenAI、奧特曼提起訴訟,稱該公司違背了最初對公共開源通用人工智能的承諾。
劉偉表示,可以預見的是,xAI會對openAI産生非常大的沖擊,因爲xAI采用的是開源的路徑。對于這當中涉及的“開源和閉源”之爭。劉偉介紹稱,開源的大模型一般有幾個特點,首先它能夠使更多的開發者共同參與到大模型的改進和優化。這可以很快地推進技術進步,而且能夠實現知識共享,讓很多人學習和理解模型的設計和實驗方法。此外,開源還有一個特點就是能夠集全球之力開發大模型,這有利于發現問題和解決問題。
“但同時,有一種觀點認爲,開源也存在著一些缺點。”劉偉進一步介紹稱,用戶在使用開源軟件時可能需要依賴社區的支持,而社區支持可能不夠及時或無法滿足用戶的特定需求。由于開源軟件的開發人員分散在全球各地,因此其穩定性可能會有所不同。
開源軟件可能存在未經測試的功能或漏洞,這可能會影響軟件的穩定性和可靠性。開源軟件通常是由不同的社區成員開發,因此可能存在與其他軟件或系統的集成問題。使用開源軟件可能需要進行額外的配置和定制才能與其他軟件或系統無縫集成。開源軟件的源代碼是公開的,這爲黑客提供了更多的攻擊面。---(來源:環球時報/來源: 環球網資訊 )
*OpenAI CEO曝GPT-5改進幅度超出預期,高級推理功能取得重大進步*
近日,Sam 在與韓國矽谷特派記者團的會面中罕見的透露了比較多關于 GPT-5的信息。下面是這篇韓文報道中的一些關鍵信息和全文:
◆OpenAI CEO Sam Altman警告不要低估GPT-5性能改進的幅度,可能會超出預期。
◆每當GPT的下一個模型推出,企業界和日常生活的多個領域都會發生變革甚至消失,需要更多新思維。
◆這是Altman首次如此自信地對外發出關于GPT-5性能的“信號”。
◆Altman和OpenAI的目標是建立“通用人工智能(AGI)”,如果投入大量計算資源加速AGI到來,AI計算所需能源短缺等問題可以輕松解決。
◆Altman表示GPT-5將在高級推理功能上取得重大進步,只要有足夠計算資源,就能建立超越人類的AGI。
◆他警告低估GPT-5的改進幅度並以此爲基礎開展業務將是一個重大錯誤,GPT-5的改進幅度遠超想象。
◆Altman似乎除了“建立AGI”之外對其他事情不太感興趣,完全專注于AI。
◆他最近致力于全球AI基礎設施創新,認爲計算將成爲未來最重要的貨幣,非常關注如何以低成本構建大量計算資源。
◆他樂觀認爲,如果突破計算能力限制實現AGI,AI運行所需的能源短缺等將成爲次要問題。通過AGI進行的科學研究將是可持續經濟增長的決定性因素。
◆他擔憂數據量跟不上AI開發速度,數據短缺可能阻礙AI進步,需要一個能用更少數據學習更多東西的模型。
采訪全文:
OpenAI的首席執行官(CEO)薩姆·奧特曼(Sam Altman)警告稱,不應低估GPT-5性能改進的幅度,這可能會超出預期。每當GPT的下一個模型被開發出來時,無論是企業界還是日常生活的多個領域都必然會發生變革甚至消失,因此他強調需要更多的新思維。這是奧特曼首次如此自信地對外發出關于GPT-5性能的“信號”。他明確表示,他和OpenAI的目標是建立“通用人工智能(AGI)”,並樂觀地指出,如果大量計算資源被投入以加速AGI的到來,人工智能(AI)計算所需的能源短缺等現實問題可以輕松得到解決。
14日(當地時間),在與韓國矽谷特派記者團的會面中,奧特曼表示:“我不確定GPT-5何時發布,但它將作爲一個在高級推理功能上更進一步的模型,取得重大進步。” 他補充說:“雖然有許多人質疑GPT模型是否有限制,但我可以自信地說‘沒有’。” 這體現了他的信心,即只要有足夠的計算資源,就能夠建立超越人類的AGI。
奧特曼還指出,低估GPT-5的改進幅度並以此爲基礎開展業務將是一個重大錯誤。這表明正在開發中的GPT-5的改進幅度遠超過想象。他說:“許多初創公司認爲,GPT-5的進步只會是小幅度的,因此他們假設進展會緩慢,但我認爲這是一個嚴重錯誤。” 他強調:“在技術劇變的情況下,像往常一樣,他們將被下一代模型‘壓倒(steamrolled)’。”
奧特曼似乎對“建立AGI”之外的事情不太感興趣。據說他對區塊鏈、生物技術等AI以外的其他技術也失去了興趣。他表示:“過去,我對世界上發生的一切都有一個非常廣泛的視角,並能看到我以前從狹窄的角度看不到的東西。” 但他也說:“遺憾的是,現在我完全專注于AI(AI all of the time at full tilt),很難有其他的視角。”
最近,奧特曼一直在致力于全球AI基礎設施的創新。在這個過程中,甚至出現了關于“7萬億美元融資”的傳言,成爲了一個熱點話題。奧特曼說:“除了考慮下一代AI模型外,我最近花費最多時間的領域是‘計算(compute)建設’,我越來越確信,計算將成爲未來最重要的貨幣。” 他還說:“但是,世界並沒有爲足夠的計算做好准備,也沒有正視這個問題,因此我非常關注如何以盡可能低的成本構建大量的計算資源。” 這意味著他非常關注爲實現AGI而獲取計算資源的問題。
他還表達了一種樂觀觀點,認爲如果能突破計算能力的限制並實現AGI,那麽AI運行所需的能源短缺等將成爲“次要問題”。奧特曼說:“我最期待AGI的是,它能加速科學發現,從而更快實現核聚變發電,快速找到解決能源問題的方法。” 他強調:“通過AGI進行的科學研究將是可持續經濟增長的幾乎唯一動力和決定性因素。”
他還提出了對數據量跟不上AI開發速度的擔憂,數據短缺可能會阻礙AI的進步。他說:“從長遠來看,人類産生的數據可能會變得不足。” 他補充道:“因此,我們需要一個能夠用更少的數據學習更多東西的模型。”---[責任編輯:趙俊/來源: 爆角追蹤 ]