* 大模型內部也有功能分區，MIT團隊揭示其 “大腦” 結構 *
AI 的 “大腦” 究竟長什麽樣？
近期，來自美國麻省理工學院的研究團隊通過稀疏自編碼器（SAE，Sparse Autoencoder）在大語言模型的激活空間中發現了大量可解釋的向量點，這些向量點代表了模型所掌握的各種概念。
研究人員對這些概念空間（向量點）的結構進行了深入分析，從“原子”“大腦”“星系”三個不同的空間尺度揭示了其獨特的幾何特征。
這項研究的重要意義在于，它在試圖搞清楚大模型是如何在內部組織知識的。研究成果以預印本的形式發表。
（來源：arXiv）
就像理解人類大腦結構幫助我們理解人類思維一樣，分析模型內部的概念結構有助于我們理解人工智能是如何工作的。這些發現不僅有理論價值，也可能幫助我們設計出更好的語言模型。
在最微觀的“原子”尺度上，研究發現概念空間中存在“晶體”結構。這些晶體幾何結構代表的是語義關系（semantic relations），呈現出平行四邊形或梯形的形態。
這種幾何理解爲詞彙和語義賦予了擁有數學特征的向量空間。
更通俗的解釋是，它們可以呈現出一種經典的概念（詞）類比關系：女人-男人≈ 女王-國王。
從向量的角度來看，從“女人”到“男人”是性別的轉換，就類似于從“女王”到“國王”。同理，從“女人”到“女王”，也類似于從“男人”到“國王”（皇室轉換）。
圖｜“女人-男人≈ 女王-國王”關系的向量圖解（資料圖）
研究團隊發現，當消除詞長等無關特征的幹擾後，這種幾何結構會變得更加清晰。
具體而言，研究團隊首先計算了所有特征向量之間的成對差異，並對這些差異向量進行聚類。理論上，如果存在功能向量（如性別轉換或身份提升），相關的差異向量應該形成聚類。
然而，研究者們發現了幹擾特征的存在。例如，一些詞彙的長度差異會導致幾何結構的扭曲。
這一發現啓發他們開發了更複雜的分析方法，通過線性判別分析（LDA，Linear Discriminant Analysis）將數據投影到排除幹擾維度的低維空間中，可以顯著提高這些晶體結構的質量。這表明，概念之間的語義關系確實存在系統性的幾何對應。
在中觀的“大腦”尺度上，研究發現概念空間具有顯著的功能模塊性。類似于生物大腦中的功能分區，相似功能的特征在空間上往往聚集在一起，形成“葉”狀結構。
（來源：arXiv）
例如，數學和編程相關的特征會形成一個獨立的“葉”，這與神經科學中通過功能磁共振成像觀察到的大腦功能分區非常相似。
在研究方法上，團隊使用了 The Pile 數據集進行實驗。使用稀疏自編碼器模型（Gemma-2-2b）處理了 10,000 個文檔。
對于每 256 個標記的區塊，他們記錄了第 12 層中哪些稀疏自編碼器（SAE）特征被激活。
他們還分析了每種文檔類型中激活特征比例最高的腦葉，並創建直方圖以可視化不同文檔類型的激活模式。
研究者們采用多種統計方法驗證了這種空間聚集現象的顯著性，包括簡單匹配系數、Jaccard 相似度、Dice 系數、重疊系數和 Phi 系數。
實驗表明，Phi 系數能最准確地捕捉特征之間的功能關聯，但所有方法均能在不同程度上展現出“腦葉”的形狀。
他們發現，那些在文檔中經常同時激活的特征，在幾何空間中的距離也往往較近，這種空間局部性遠超隨機分布的預期。
圖｜不同統計方法的對比（來源：arXiv）
爲了量化這種功能模塊的空間分布特征，研究團隊開發了兩種評估方法。
首先，他們進行了基于余弦相似度的空間聚類和基于特征共現的功能聚類，再把兩者放在一起對比相互信息。由此可以得出功能結構與幾何結構的“對應關系”。
其次，他們嘗試用邏輯回歸模型根據特征的幾何位置預測其所屬的功能模塊。
實驗結果表明，使 Phi 系數作爲共現度量時，功能模塊與幾何結構的對應關系最爲顯著，其統計顯著性遠超隨機基線。
簡單來說，最終的結果是，研究人員發現相關的概念會聚集在一起形成功能區域，就像人類大腦中不同區域負責不同功能一樣。
比如，跟數學和編程相關的概念會聚在一起形成一個區域，而處理日常對話的概念會聚在另一個區域。
這種功能分區的發現不僅證實了模型內部存在組織化的知識表示，還暗示了不同類型信息可能采用不同的編碼方式。
在最宏觀的“星系”尺度上，研究發現整個特征點雲的分布並非各向同性，而是呈現出特殊的結構。
通過主成分分析發現，點雲的協方差矩陣特征值呈現冪律衰減，且這種衰減在模型的中間層最爲顯著。
這意味著，概念空間在不同維度上的“寬度”並不均勻，而是遵循一定的統計規律。中間層較陡的冪律衰減可能暗示這些層在壓縮信息、形成高級抽象表示方面發揮著重要作用。
（來源：arXiv）
此外，研究還分析了點雲的聚類熵，發現概念空間確實存在明顯的聚類現象，特別是在模型的中間層。
這種聚類程度遠高于各向同性高斯分布的預期，表明概念在特征空間中的分布具有複雜的內在結構。
研究者們使用 k-NN 方法估計了點雲分布的熵，並與相同協方差矩陣的高斯分布進行對比，量化了不同層的聚類程度。
研究者最終發現，模型不同層的特征分布呈現出獨特的模式。早期層和晚期層的熵值較高，這可能反映了這些層分別負責處理較爲分散的低級特征和高度集中的任務相關特征。
而中間層較低的熵值則暗示這些層在概念抽象和信息整合方面發揮著重要作用。
這種層次化的組織結構可能是模型高效處理語言任務的關鍵機制之一。
總的來說，這項研究通過多尺度的幾何分析，揭示了大語言模型內部概念表示的豐富結構。
這些新發現不僅加深了我們對模型工作機制的理解，提升了模型可解釋性，也爲未來改進模型架構和訓練方法提供了有價值的啓示。----[運營/排版 ：何晨龍/來源 : DeepTech深科技 ]
參考資料 ：https://arxiv.org/abs/2410.19750
* AI浪潮下的隱憂：500萬噸電子垃圾危機 *
（來源：MIT TR）
一項新研究表明，到 2030 年，生成式 AI 可能會産生多達 500 萬噸電子垃圾。
盡管這只是目前全球每年超過 6000 萬噸電子垃圾總量中相對較小的一部分，然而專家警告說，這仍然是一個日益嚴重的問題的重要組成部分。
電子垃圾是指被丟棄的空調、電視以及手機和筆記本電腦等個人電子設備等物品。這些設備通常含有危險或有毒材料，如果處理不當可能會危害人類健康，造成環境汙染。
除了這些潛在危害之外，當洗衣機和高性能計算機等電器最終被扔進垃圾桶時，設備內的有價值的金屬也會被浪費，從供應鏈中取出而不是被回收。
今天發表在Nature Computational Science雜志上的一項研究表明，根據生成式 AI 的采用率，到 2030 年，該技術可能會總共增加 120 萬至 500 萬噸電子垃圾。
“這一增長將加劇現有的電子垃圾問題。”以色列賴希曼大學的研究員、該研究的合著者 Asaf Tzachor 在一封電子郵件中寫道。
聯合國訓練研究所高級科學專家、最新年度報告《全球電子廢物監測》的作者 Kees Baldé 表示，“這項研究在量化人工智能對電子廢物的影響方面是最新的。”
生成式 AI 電子垃圾的主要來源是數據中心和服務器集群中使用的高性能計算硬件，包括服務器、GPU、CPU、內存模塊以及存儲設備。
Tzachor 說，“這些設備與其他電子垃圾一樣，含有銅、金、銀、鋁和稀土元素等有價值的金屬，以及鉛、汞和鉻等有害物質。”
人工智能公司産生如此多浪費的原因之一，是硬件技術的進步速度。計算設備的使用壽命通常爲兩到五年，並且經常被最新版本所取代。
雖然電子垃圾問題遠遠超出了人工智能的範疇，但快速發展的技術提供了一個機會，可以評估我們如何處理電子垃圾並爲解決問題打下基礎。好消息是，有一些策略可以幫助減少預期的浪費。
Tzachor 表示，通過延長設備的使用時間來延長技術壽命是減少電子垃圾的最重要方法之一。
翻新和重複使用組件也可以發揮重要作用，就像以更容易回收和升級的方式設計硬件一樣。研究預測，在最好的情況下，實施這些策略可以減少高達 86% 的電子垃圾産生。
根據 2024 年《全球電子廢物監測》報告，目前只有約 22% 的電子廢物被正式收集和回收，更多的垃圾是通過非正式系統收集和回收的，包括在沒有建立電子廢物管理基礎設施的低收入和中低收入國家。
Baldé 說，“這些非正式系統可以回收有價值的金屬，但通常不包括危險材料的安全處置。”
減少人工智能相關電子垃圾的另一個主要障礙是對數據安全的擔憂。
銷毀設備可確保信息不會泄露，而重複使用或回收設備則需要使用其他方法來保護數據。
Tzachor 表示，“確保在回收之前從硬件中刪除敏感信息至關重要，特別是對于處理機密數據的公司。”
可能需要更多政策來確保電子垃圾（包括來自人工智能的電子垃圾）得到回收或妥善處置。回收有價值的金屬（包括鐵、金和銀）有助于證明經濟合理性。
然而，Baldé 表示，“電子垃圾回收可能仍然需要付出代價，因爲安全處理設備內常見的有害物質成本比較高。”
“對于公司和制造商而言，對其産品的環境和社會影響承擔責任至關重要。”Tzachor 說道，“這樣，我們可以確保我們所依賴的技術不會以犧牲人類和地球的健康爲代價。”---來源 : DeepTech深科技 -
https://www.technologyreview.com/2024/10/28/1106316/ai-e-waste/
