01-神魔宇宙 ***宇宙天國首部曲 彌勒天書閣 https://maitreya-books.com/ 神話從來就不是怪力亂神,而是原始先民在日常生活情況的觀察之中,所建立的真實認知。唯有相信神話中的真實,才能感受到神話的詩意隱喻背後,所具有的神聖力量。打開你的想像,打開你的相信,你才能知道神話告訴了你什麼宇宙生命的資訊。 生命起源於宇宙之中,生長於宇宙之中,結束於宇宙之中,因此,宇宙的起源就是生命背景的起源。生命形成的每一個階段,其實都在述說著生命的本能,也就是生命本就存在的一種力量,在此雖是說明一種狀況,然而將這狀況投射在生命的生活行動之中,你就會明白自己究竟有哪些不可思議的本能!

“歐洲OpenAI”Mistral創始人:大模型“自我學習”能力大增 強化學習不再那麽重要

2024032618:00

被譽爲“歐洲OpenAI”的Mistral,自成立以來便成爲打上傳奇Tag。Mistral曾經憑借6人團隊和7頁PPT,就在成立後短短四周內斬獲8億人民幣融資,一舉一動都引發行業矚目。

上周,在在線設計協作平台Figma舉辦的一場活動中,Figma創始人Dylan Field與Mistral創始人Arthur Mensch進行了一場訪談,從講述Mistral的成立及産品的快速研發談起,重點涉及大模型自我學習能力、大模型推理能力、大模型效率及規模、對AI監管的看法以及開源模型與商業模型的平衡等。

在談及大模型的自我學習能力,Mensch提出AI領域在過去幾年間發生的一個重要轉變,如今大模型已經足夠強大,在很多情況下都可以自我監督學習,傳統的強化學習不再那麽重要(強化學習是一種基于“獎勵期望行爲”和“懲罰不期望行爲”的機器學習訓練方法)。而且隨著模型規模的擴大,這種趨勢正在加速發展。更大、更複雜的模型能夠更有效地處理和理解數據,減少了依賴人工注釋的需求。這不僅降低了成本,還降低了開發高效AI系統的門檻。

在被問及隨著AI模型規模的增加,是否會自然地獲得更好的推理能力,Mensch強調目前唯一被驗證過的提升模型推理能力的方法,是通過在更大的數據集上訓練模型並增加它們的規模。目前Mistral並沒有專門的“秘方”來顯著提高模型的推理能力,但他們通過重點關注數據質量並成功開發出了具有良好推理能力的模型。

在大模型效率提升及規模擴大上,Mensch表示公司首先致力于提高模型訓練的效率,而一旦效率目標達成,公司將著手擴大大模型規模,以便處理更複雜的任務。他同時還強調保持模型高效推理能力仍至關重要,不會因爲模型規模增加而受到影響。

在AI監管方面,Mensch認爲當前關于AI和大模型風險的議題都缺乏實際證據。所以與其關注這些相當抽象的問題,AI行業有更迫切、更實際的問題值得研究,比如如何安全部署AI模型、控制內容輸出、處理模型偏見、微調模型的編輯傾向等。

關于開源模型與商業模型的平衡,Mensch表示雖然Mistral已經推出了商業模型,但他們並沒有放棄開源模型的開發和維護。商業模型可以幫助Mistral創造收入,從而支持其開源項目和研究活動。並且即便推出了商業模型,Mistral也在努力保持其模型的靈活性和可訪問性。



Dylan Field(左)與Arthur Mensch(右)

訪談全文爲人工智能翻譯:

Dylan Field:歡迎大家來到Figma,我是Dylan Field,Figma的CEO和聯合創始人。我非常高興能在這裏舉辦這次活動,也歡迎通過直播加入我們的每一個人。今晚的對話將會非常精彩,我很榮幸能介紹今晚的兩位對話嘉賓。

Arthur Mensch:感謝Figma的場地支持,也感謝大家的到來。Arthur是一個前學者,現在成爲了一位CEO和聯合創始人。

Dylan Field:Arthur在矽谷、全球創業社區中都是一位親愛的朋友和導師。Mistral在開源模型方面取得了令人矚目的成就,我認爲他們正在改變AI的未來。現在,讓我們歡迎他們開始對話。

Arthur Mensch:感謝Figma的場地支持,也感謝大家的到來。Arthur爲了加入我們做出了英勇的努力,他不得不跳進車流中,搶了一輛自行車騎過來。非常感謝。

Dylan Field:你從機器學習的背景出發,曾在DeepMind擔任研究員,然後創立了Mistral。你是如何決定創立Mistral的?你的動機是什麽?公司最初是如何形成的?

Arthur Mensch:我和我的合夥人Timothy在DeepMind和Meta工作時,一直在等待時機。ChatGPT的出現讓我們意識到有機會快速組建一個優秀的團隊,因爲我們不是第一個進入這個領域的。所以我們就這樣開始了。

Dylan Field:對于可能正在觀看直播的人來說,我想現場的觀衆對Mistral做什麽應該很熟悉。你能解釋一下你們的産品系列、平台以及各種組成部分嗎?

Arthur Mensch:Mistral是一家建立金融模型的公司,我們在開源模型方面處于領先地位。我們最初創建了文本到文本的生成模型,這是當今生成性應用的基礎。我們在12月發布了7B模型,並在平台上增加了商業模型。我們正在爲開發者構建一個開源模型和便攜式企業平台。

Dylan Field:從你創立公司到發布7B模型用了多長時間?

Arthur Mensch:大約四個月。

Dylan Field:這真是令人驚歎。Mistral以驚人的速度推出了第一款産品,並迅速獲得了廣泛采用。人們意識到他們可以獲得這些小型高性能模型,這些模型的推理時間非常快,成本非常低,這在高吞吐量的情況下産生了巨大的影響。你們是如何如此迅速地構建出這樣的産品?你們是如何讓團隊如此迅速地聚焦于這樣一個單一目標的?

Arthur Mensch:我們思考了領域中缺失的東西,意識到小型模型實際上對人們來說非常有吸引力。我們看到了一個基于Llama 7B的社區正在形成,但Llama 7B還不夠好。所以我們意識到我們可以做得更好,可以打造一個更好的7B模型。這就是我們向世界介紹的目標。我們基本上是從零開始構建整個堆棧。在四個月內,我們從零GPU開始,最終在大約500個GPU上進行了訓練。我們的團隊非常有動力,這四個月裏我們幾乎沒有休息。

Dylan Field:通常成功的AI團隊規模在四到五人左右,發明新事物的團隊也一直是這個規模。你們是如何組織團隊,以便如此迅速地實現目標的?

Arthur Mensch:我們試圖建立一個組織,讓五人一組的團隊分別負責數據和預訓練等方面的工作。到目前爲止,這種方法運作得很好。

Dylan Field:你能分享一些關于你們未來路線圖的信息嗎?

Arthur Mensch:我們即將推出新的開源模型,包括通用模型和針對特定行業的模型。我們正在平台上引入一些新的微調功能。我們還推出了一個名爲Shah的基于聊天的助手,目前它只是使用了模型。我們正在構建數據連接器,並尋找豐富數據的方法,以便爲企業提供有吸引力的解決方案。

Dylan Field:你們計劃專注于哪些行業?

Arthur Mensch:我們從金融服務開始,因爲那裏的成熟度最高。我們有兩種市場策略。首先是通過與雲服務提供商的合作,因爲它們在市場中占據了主導地位。然後通過我們的平台,我們直接與開發者對話。

Dylan Field:你們最近宣布與Microsoft和Azure建立了合作關系。你能談談這種關系,以及它爲你們提供了什麽?

Arthur Mensch:這爲我們打開了新的客戶群。許多企業不能輕易地使用第三方SaaS提供商,因爲他們需要經過采購和風險評估等程序。但如果你能作爲雲服務提供商的第三方提供商,你就能獲得加速器。所以當我們與Azure合作時,我們立刻獲得了大約1000個客戶。企業正在使用雲服務,他們不想輕易引入新平台。所以你需要適應這個事實。

Dylan Field:現在許多行業都在關注擴大模型規模,你們在未來六個月或一年內有什麽計劃?你們是否有計劃推出非常大的模型,還是打算繼續提供各種規模的模型?

Arthur Mensch:我們首先關注的是效率,以便比目前的方法更高效地訓練模型。一旦我們實現了這種效率,我們就開始擴大規模。我們進行了另一輪融資,因此我們開始增加我們的計算能力。所以你可以期待新的更強大的模型,因爲我們正在投入更多的計算資源。模型可能會變得更大,因爲當你增加計算能力時,你需要增加模型的容量。但對我們來說,保持模型的高效推理和壓縮非常重要。所以我們將繼續向開源世界推出這種類型的模型。

Dylan Field:隨著模型能力的提高,你可以開始加速構建下一個模型的速度,因爲你可以使用GPT級別的模型進行強化學習或生成合成數據等。你如何看待使用模型來提升彼此的能力?這是否真的加速了每個後續版本的發布時間線?

Arthur Mensch:兩年前,強化學習非常重要。今天,它實際上變得不那麽重要了,因爲模型已經變得更好,有時甚至足夠好,可以自我監督。隨著我們規模的擴大,這確實在改善。這意味著通過人工注釋的成本部分實際上在減少。這也降低了進入門檻。

Dylan Field:另一個相關的領域是推理,許多人認爲隨著模型規模的擴大,它們自然會獲得推理能力。還有一些公司專門關注模型的推理方面。你如何看待這個問題?你們會訓練用于推理的子模型嗎?還是你認爲這只是現有模型規模擴大的結果?或者是兩者的結合?

Arthur Mensch:目前,唯一經過驗證的提高推理能力的方法是讓模型在更大的數據集上進行訓練,並使它們變得更大。顯然,通過構建外部循環、添加新功能、爲模型添加數據等方法,模型可以更好地推理。我們沒有秘密配方來提高推理能力,但我們通過專注于數據,特別是數學數據,已經制作出了推理能力相當不錯的模型。還有許多其他方法可以提高推理能力,我們只是專注于小事情,這就能讓它工作。

Dylan Field:我問這個問題的原因之一是,如果你看看AI的世界,過去有幾種不同的方法。一種是基于Transformer的模型和擴大它們。另一種是像AlphaGo和撲克這樣的遊戲相關方法,你通過自我對弈來引導新策略或新能力的形成。這些在某種意義上都是推理的形式。我知道在模型訓練代碼的某些領域,這可能很自然。還有其他一些領域,你可以用真實的標准來測試東西。所以,我不知道你們是否考慮過這樣的事情,或者這在你們心中是否重要。

Arthur Mensch:Giam和Timoti在Meta的時候就開始用LLMs進行定理證明了。這與使用LLM作爲推理的突破點,然後構建一個涉及采樣的自動循環有關。阻礙這一點的原因是模型的高延遲。如果你想大量采樣,你需要讓模型變得更小。這與效率密切相關。隨著我們提高效率,我們的容量也在增加,你就能更廣泛地探索和采樣。這是通過自動循環發展來提高推理能力的有效方法。

Dylan Field:另一個人們最近在談論的話題是記憶,以及以不同方式跨行動維持更長時間狀態的能力。你們是否計劃很快走下代理路線,或者你們的重點更多地放在核心API上,這些API以各種方式啓用?

Arthur Mensch:我們試圖通過函數調用來實現這一點,這是創建存儲狀態的代理的好方法。當我們談論記憶時,你實際上是通過在你的中間件路徑上引入一些粗略的函數來實現對話記憶的。所以函數調用是一個多用途的工具,可以用來創建複雜的設置和複雜的代理。讓它工作是很難的,評估它們也很難。所以我認爲這將是我們在産品方面需要解決的最大挑戰之一。

Dylan Field:最近人們還在談論上下文窗口。例如,我知道在生物學模型中,如果你增加上下文窗口,你最終會得到更好的蛋白質折疊等結果。上下文真的很重要。我認爲Gem和Magic已經有了幾百萬的上下文窗口。你認爲這有多重要?這會取代其他東西,比如rag或微調嗎?所有這些事情會同時工作嗎?

Arthur Mensch:它不會取代微調,因爲微調的目的是根據你的偏好來塑造任務。另一方面,它簡化了rag方法,因爲你可以將更多的知識融入上下文。所以我們從用戶那裏聽到的是,一旦你開始使用具有大上下文的模型,你就不想回去了。所以這實際上是我們想要改進和擴展的東西。在基礎設施方面,這實際上是一個挑戰,因爲你需要處理非常大的注意力矩陣。但是有解決這個問題的方法。

Dylan Field:當你說在RAM或GPU上運行時,你是在建立越來越大的上下文窗口,還是其他什麽?

Arthur Mensch:你需要重新思考分片和通信的技術,以處理大矩陣。然後你會付出代價,因爲你的模型會因爲質量成本而變得更慢。

Dylan Field:你認爲我們什麽時候能達到這些模型在大多數白領工作上比人類做得更好的時刻?你認爲這是兩年、五年還是十年後?

Arthur Mensch:這取決于任務。有些任務上模型已經做得更好了。所以我預計這種情況會很快展開。很難說一個確切的日期,但我會說在三年內,情況會看起來非常不同,特別是如果我們找到部署代理並使它們健壯可靠的方法。

Dylan Field:取代Figma的CEO怎麽樣?我只是開個玩笑,Dylan,請繼續。

Arthur Mensch:我認爲在機器人領域已經發生了一些事情,但我認爲在音頻領域還處于非常早期的階段。這是視頻開始被覆蓋的地方。是的,像模型那樣能夠采取行動並變得非常擅長采取行動的模型,我認爲這還沒有得到很好的覆蓋。所以我認爲在這方面還有進步的空間。但總的來說,我預計所有這些都會朝著類似的架構融合。隨著時間的推移,我們知道如何很好地訓練它們,所以我們可以將從文本中學到的信息轉移到圖像等上面。這就是爲什麽我認爲這很難被取代。

Dylan Field:你認爲這也適用于硬科學,比如物理模擬、材料科學、純數學?

Arthur Mensch:我不認爲僅僅通過下一個預測就能解決這個問題。所以你需要轉向自動循環,你還需要找到方法讓模型與模擬器交互。因爲最終你需要模型學習物理。所以你需要用模擬器來引導它。但老實說,我不是專家。

Dylan Field:然後所有這些模型都需要大量的GPU,人們公開談論了目前GPU短缺的問題。你認爲這種情況什麽時候會結束?

Arthur Mensch:我認爲隨著H100的到來,我們將開始看到硬件領域的競爭,這將改善成本。我還預計隨著我們轉向多模型的金融模型,我們可以在更多的FLOPs上進行訓練。所以我認爲我們還沒有在訓練部分和推理路徑上達到極限。隨著我們轉向生産,我認爲推理能力將顯著擴散。

Dylan Field:你認爲這將通過傳統的基于GPU的方法完成,還是我們將開始擁有越來越多的定制ASICs,無論是針對特定的Transformer模型,你將權重燒錄到矽片中,還是更一般地針對Transformers,你可以加載一組權重?

Arthur Mensch:每個人都在使用Transformer,這是一個非常好的表示信息之間關聯的方式。所以它真的不重要,但它似乎是足夠的。它似乎足以捕捉我們想要捕捉的大多數東西。我們知道如何很好地訓練它們,所以這將很難被取代。

Dylan Field:Mistral最初是一個以開發者爲中心的産品,對吧?你推出了一個非常開源的東西。現在你開始爲各種企業服務。在人們提出的使用案例類型或企業最快速采用這些技術或方法的領域方面,有什麽共同性嗎?

Arthur Mensch:企業主要出于免費用例采用這項技術。首先是開發者生産力。他們通常因爲現成的方法不適合他們的開發方式而苦惱。他們還使用知識管理工具,通常他們會建立自己的助手連接到他們的數據庫。最後是客戶服務。最成熟的公司在減少與客戶的人類互動方面取得了很大進展,使它變得更加高效。所以這就是我們看到的企業使用AI的免費用例。對于AI公司來說,情況就更加多樣化了,因爲他們更有創造力。但總的來說,企業有這些免費用例。這也是我們開始考慮在價值鏈上移動一點,提供一些更關鍵的東西的原因,因爲有時他們需要一點幫助。

Dylan Field:我猜很多人在這裏看到了Clarna的CEO的推文,他在談論客戶成功,他們如何基于OpenAI推出了一系列工具,基本上減少了他們需要的人數700人,用于客戶支持,對吧?他們在一個月內推出了它,並且在那個月內有230萬次響應。所以似乎有一個即將到來的巨大浪潮,我認爲在提高生産力、影響工作等方面的影響被低估了。

Arthur Mensch:我們看到了更多樣化的用例,其中一個是通過短信與臨時工互動的平台,幫助他們找到工作。所以客戶從150人直接與客戶互動減少到7人。他們實際上能夠更輕松地擴展平台,使雇員能夠更容易地行走。總的來說,通過更多地自動化客戶服務來提高客戶服務是一種方法。所以這就是他們認爲這項技術令人興奮的地方。

Dylan Field:你認爲現在缺少什麽?或者是什麽阻止了企業采用進一步加速?

Arthur Mensch:我們的賭注是,他們仍然在努力評估和弄清楚如何驗證模型是否可以投入生産。缺少的是一系列工具,用于持續集成,以及自動改進LM用于的任何用例的工具。所以我認爲這是缺少的東西,這是阻止開發者在企業內部采用的原因。現在,對于企業內部的用戶采用,我認爲我們仍然離創建能夠很好地遵循指令、可以輕松定制的助手還有很長的路要走。所以,在用戶方面,我認爲這就是缺少的東西。

Dylan Field:我認爲你一直在思考如何接近AI監管,我知道你參與了一些關于歐盟監管和其他AI監管的對話,你能解釋一下你的觀點,就今天和未來應該關注什麽,以及如何更一般地思考它?

Arthur Mensch:我們不得不發言,因爲當時在十月,有一個反對開源AI的大運動。所以我們不得不解釋,這實際上是今天使技術安全和良好評估的正確方式。

總的來說,我們一直在說,我們正在將關于存在風險的討論(這是定義不清的,而且缺乏科學證據)與關于國家安全和AI的討論(以及LLMs被用來生成生物武器)合並在一起。但這同樣缺乏證據。然後有一些非常重要的問題,我們應該關注,那就是你如何實際部署模型,控制它們說什麽?如何處理偏見?如何,嗯,微調模型的編輯傾向,以便你可以評估和控制。我認爲這是最重要的部分,如何構建你可以很好地控制和評估的安全産品。這就是我們幾個月來一直在說的,因爲我們有點被迫發言。

Dylan Field:似乎人們擔心AI短期內的一個問題是像深度僞造或人們冒充聲音或其他東西,無論是爲了金融攻擊還是政治目的等。你們有沒有計劃進入聲音和其他多模態領域?

Arthur Mensch:生成非文本的東西實際上是一個陷阱,我們在安全方面避免了這個問題。我們避免了它。模仿聲音和深度面孔是非常令人擔憂的。這不是我們假裝能夠排序文本的東西。因爲文本生成文本從未是有害行爲的推動者。雖然提到了錯誤信息,但通常錯誤信息是由擴散而不是由創建限制的。所以通過專注于文本,我們規避了這些非常真實的問題。

Dylan Field:我認爲Mistral非常引人注目的一點是,我應該說整個歐洲現在都有非常強大的創業場景。如果我看看目前AI創業形成的兩個最大口袋,基本上是在矽谷,然後是巴黎-倫敦走廊,你有11個實驗室,你有Mistral,你有所有這些偉大的公司。你認爲是什麽驅動了這一點?

Arthur Mensch:我認爲有幾個曆史原因。在倫敦,有DeepMind,這是一個非常強大的全球人才聚集地。在巴黎,2018年,DeepMind和Google都開設了研究辦公室。這增強了已經相當強大的現有研究場景,因爲事實證明,法國和歐盟的一些其他國家在教育渠道上做得很好。所以初級機器學習工程師和初級機器學習科學家相當優秀。所以這就是爲什麽今天我們在金融層面和應用層面都有相當強大的公司生態系統的原因之一。

Dylan Field:朋友們似乎比英國人聰明多了。我只是開個玩笑。

Arthur Mensch:另一個行動。

Dylan Field:另一件引人注目的事情是,你開始看到很多不同的AI公司專注于地區差異。例如,當你推出時,你包括了各種不同的歐洲語言模型。或者你可以想象一個世界,區域冠軍會出現。特別是,你可以將其視爲波音與空客的競爭,特定地區的政府決定他們真的想資助或成爲當地玩家的客戶?你認爲未來的世界會是什麽樣子?全球與地區平台將如何演變?

Arthur Mensch:我們采取了全球分銷的方法。我認爲,我們本可以選擇專注于歐洲市場,假裝那裏有任何形式的防禦性。我們不認爲這是這種情況。技術仍然非常流動,所以我們可以跨國界傳播。另一方面,我們正在構建的技術與語言密切相關。語言,嗯,英語只是許多語言中的一種。事實證明,元素在英語以外的其他語言上表現得更好。所以通過專注于不同的語言,我們設法制作了在歐洲語言上特別好的模型,而不是美國模型。所以那裏有一個大市場。同樣,在亞洲,對于能夠說亞洲語言的模型也有很大的市場。但這些都是美國公司尚未關注的市場。所以這實際上是我們作爲歐洲公司更關注全球市場的機會。

Dylan Field:好的,很好。我想我們可以開放給觀衆幾個問題,如果有人想問的話。我可以重複他們在後面說的話,請大聲說出來。

問題是,你們是否計劃發布你們模型的封閉源版本,還是會一直保持開源?

Arthur Mensch:我們已經推出了商業模型。所以從某種程度上說,我們並沒有開源所有東西。我們的目標是發布最好的開源模型。然後我們有企業級的環境和一些我們可以出售以維持業務的高級功能。我們目前的策略,隨著時間的推移可能會發生變化,是擁有非常強大的開源模型,但也有在那個時間點更封閉的模型API。

我們關注的一件事是,即使是對我們的商業模型,也要使這些模型的部署非常便攜和靈活。所以我們有客戶,我們向他們發送權重,允許他們修改模型,以進行客戶端的微調,就像他們對待開源模型一樣。所以在這個意義上,我們在商業家族和開源家族之間有一些重疊。

Dylan Field:Arthur後面還有另一個問題。

Arthur Mensch:我們確實有計劃,今天沒有宣布,但我們確實有計劃。

Dylan Field:人們通過直播提出的問題之一是,是否有計劃推出專門針對代碼的模型。今天沒有宣布。

Arthur Mensch:我們一直在生産中,因爲我們的團隊非常精簡。但我們有另外兩名全職員工正在尋找新的架構,進行研究。我認爲這非常重要,以保持相關性。隨著我們規模的擴大,我們將能夠進行更多的研究和探索性研究,這也與你的計算能力有關。如果你想發現新東西並取得進展,你需要有足夠的計算資源。由于H100的短缺,我們有點受計算能力的限制,但這將有利地改善。所以我們預計會進行更多的研究,因爲我們已經從研究中恢複過來。

Dylan Field:這與此相關。總的來說,你的團隊有很強的行動偏見,你們行動非常迅速。你在招聘時是如何挑選這樣的人的?你在面試中會問特定的問題嗎?

Arthur Mensch:我們尋找的是從基礎設施堆棧到精確變換和加載管道,再到思考數學問題的AI科學家。所以我們一直在尋找全棧AI工程師,他們傾向于有很強的行動偏見。所以這就是我們的重點,找到低自我意識的人,願意做一些被一些AI科學家認爲無聊的工作,因爲這些工作有點無聊。但這實際上非常有效。因爲我們專注于正確的事情。

Dylan Field:哦,在最後。

Arthur Mensch:團隊現在相當大。所以有很多與之相關的挑戰。我對我們必須處理的大量入站請求和必須做的代表感到驚訝,特別是當我們被卷入政治事務時,我們甯願避免這種情況,但我們別無選擇。Jenna,說到這個,我也對我們的生活速度感到驚訝。但我對作爲CEO的工作有一些了解。這很有趣,但我實際上想象自己在一年後仍在編碼,這已經不再是現實了,不幸的是,這是嘗試快速擴展的代價。

Dylan Field:你現在可以做HR編碼了,這更好。還有其他問題嗎,請提出。

Arthur Mensch:謝謝。

Dylan Field:所以我們開始這家公司的原因是爲了有一個創造願景價值的生産部門,有一個研究部門。老實說,這樣的組織並沒有太多示範,因爲你有一些研究實驗室與雲公司聯系在一起,他們有非常大的收入,並用它來維持研究。我們認爲,隨著AI的發展,以及這項技術帶來的價值,有一種方法可以做到這一點。但這仍然有待證明,這就是我們用這個時間所做的實驗。

Dylan Field:可能還有一個問題。我知道Arthur有一個硬性的截止時間,也許我們可以在後面擠一下。

Arthur Mensch:哦,是的,我想你可以擠到那個點。問題是,你能否有一個7B模型擊敗Mistral Large。這開始有點棘手,但可能有辦法。我也預計硬件會改善,所以這也會給出一點空間和更多的內存。是的,我看到那裏有更多的潛力,因爲你在某種程度上被規模限制了。這告訴你,最終你會飽和一定大小模型的容量。

Dylan Field:在擴大規模之前,你認爲什麽是主要的限制,或者你認爲什麽是阻礙?

Arthur Mensch:在特定任務上,你可以讓7B模型非常強大。但如果你想將世界上所有的知識都壓縮到7GB中,這實際上是相當有野心的。所以一件事是,例如,這種規模的多語言模型並不是一個好主意,你需要專注于你想壓縮的人類知識的特定部分。

Dylan Field:最後一個問題給我,然後我們可以結束了,你認爲關于持續訓練或重新訓練,或者更長時間的訓練運行以獲得累積效果,你如何看待?

Arthur Mensch:這是一種高效的訓練方式。這肯定對我們很有趣。

Dylan Field:好的,很好。那麽請和我一起感謝Arthur。---[作者:朱雪瑩*來源:硬AI/來源: 華爾街見聞官方]