【新智元導讀】Claude 3在通用任務上是全球最強已經毋庸置疑。更令人驚歎的是，它在專業領域的表現，比如化學任務，也能遠遠領先GPT-4。
Claude 3的誕生又一次震驚了全世界。
Claude 3 Opus，Claude 3中最智能的模型，在大多數常見的人工智能系統評估基准測試中表現優異，包括本科水平專家知識（MMLU）、研究生水平專家推理（GPQA）、基礎數學（GSM8K）等。
但在特定的專業領域，它的表現卻是一個未知數。
比如化學，化學在藥物發現和材料科學等領域發揮著至關重要的作用，但現有研究顯示它們在化學任務上的性能令人沮喪。
指令微調讓LLM完成化學任務成爲可能
近日，一支來自OSU的團隊構建了一個專門針對化學任務指令微調的數據集，命名爲SMolInstruct。
論文地址：https://arxiv.org/pdf/2402.09391.pdf
該SMolInstruct測試集涵蓋了14種任務，包括名稱轉換、屬性預測、分子描述、分子生成、正向合成和逆向合成等，這些專業任務經過精心挑選，以建立堅實的化學基礎。
它同時包含340萬個不同的樣本和160萬個不同的分子，涵蓋了各種大小、結構和性質的化合物，展示了廣泛的化學知識覆蓋範圍。這些樣本都經過嚴格的處理步驟，排除了有問題和低質量的樣本。
然後，他們在SMolInstruct數據集上對四個開源LLM（Galactica、Llama 2、Code Llama和Mistral）進行微調，創建了一系列專門用于化學任務的LLM，稱爲LlaSMol。
論文中，主要將LlaSMol模型與兩種類型的模型進行比較：
1. 未在SMolInstruct上進行微調的LLM
2. SOTA任務特定模型
結果顯示，LlaSMol在所有任務上都顯著優于現有的LLM，包括GPT-4。
例如，將SMILES轉換爲分子式的准確率達到94.5%，而GPT-4僅爲16.4%；對于逆合成任務，准確率達到32.9%，而GPT-4僅爲0%，並接近最先進的任務特定模型SOTA。
這凸顯了SMolInstruct數據集的有效性和微調的好處。
這個結果是合理的，雖然GPT-4很強大，但它畢竟是通用模型，很難直接和經過特定的任務及樣本微調的LlaSMol去對抗。
但經過微調的LLM表現已經逼近非LLM的任務特定模型，還是展現了LLM的巨大潛力。
不僅如此，四個LlaSMol模型在性能上表現出顯著差異，也強調出了基礎模型對下遊任務的重要影響。
Claude 3在專業化學領域仍舊領先
Claude 3一經推出，該團隊便在SMolInstruct 該基准測試上對于Claude 3 Opus同樣進行了實驗。
雖然與LlaSMol還是有差距，但在大多數任務中，Claude 3的表現遠遠超過GPT-4。
雖然在其中的一個名稱轉換任務S2F中，也就是一個將用于表示分子結構的文本字符串轉換爲分子式去計算原子數量的任務，Claude 3要比GPT-4差得多，但大多數任務的大幅領先還是展現了Claude 3在專業領域學習能力上的優越性。
Anthropic在官網介紹Claude 3時，用了「smarter, faster, safer」去描述大模型智能的未來潛力。
而我們在化學特定任務上，已經可以感受到了Opus作爲通用模型，學習的速度之快，能力之強。
LLM超越任務特定模型，指日可待
在SMolInstruct原論文的結尾，作者也表達了對在化學領域，LLM能夠超越任務特定模型的期許和展望。
任務特定模型畢竟是基于固定的輸入，它們被優化以執行其特定任務，通常在大小和複雜性上都較小，而且在跨知識共享的任務中很難有好的表現。
而LLM有更多的參數和模型結構，可以在學習中進化，也能快速適應新的需求。
不可否認的是，經過微調的LLM更多的在專業領域上趕超任務特定模型，目前非常依賴于微調指令的完整性、全面性、准確性。
但若以發展的眼光來比較兩種模型，尤其是在我們已經感受到Claude 3可怕的成長速度之後。
可以 預 想到， 作爲 通用模型來設計的LLM，會在專業領域逐漸爆發 。---[新智元報導*編輯：Mindy/來源: 新智元]
參考資料：
https://twitter.com/hhsun1/status/1766656199083098134
https://www.anthropic.com/news/claude-3-family
https://arxiv.org/pdf/2402.09391.pdf
