從“智能湧現”到“超人類”，通往AGI巅峰的終極設想
當阿西莫夫在小說《轉圈圈》（Runaround）中向世界介紹他著名的機器人三定律時，他可能沒有完全預見到，八十年後的世界會多麽接近他的科幻夢想。如今，我們生活在一個由人工智能（Artificial Intelligence， AI）滲透的世界裏。AI系統在許多方面已超越阿西莫夫的想象——在家裏，私人AI助手不僅可以幫你安排日程，還能根據你的心情推薦娛樂節目。工作中，各種AI分析工具幫你洞察複雜數據，提供行業和科學洞見。甚至在藝術領域，AI也在幫助千千萬萬的藝術家創作新穎的作品，挑戰我們對創造力的傳統認識。
這還只是冰山一角。
AI氣象模型[1]已爲我們預測天氣，它比代表人類千萬年經驗的傳統數值預報方法還要准確，速度也要快上一萬倍；AI教學平台正在根據學生的學習習慣和進度提供個性化指導[2]，使教育更加有效和包容；AI醫療模型也正幫助醫生更准確快速地診斷罕見病[3]、癌症[4]、神經退行性疾病[5]，在某些情況下，它們的表現甚至超過了人類專家。
然而，這些進步引發了一個問題：
這些先進的AI系統是否代表著人類對通用人工智能（AGI），或“（超）人類層級的智能”的終極設想？
自1956年達特茅斯會議提出“人工智能”這一概念以來，實現人類水平的智能一直是AI領域的聖杯。今年上半年，終于有主流研究者提出[6]，AI模型——或者更確切地說，大語言模型——已經表現出“通用人工智能的火花”（sparks of AGI）。這似乎表明，AGI已經從哲學猜想變成了將來的未來。然而，關于AGI的觀點衆說紛纭，大語言模型也常有愚蠢行爲出現，這些都引發了對AGI的質疑。在此背景下，我們需要明確幾個關鍵問題：我們的AGI目標到底是什麽？我們離實現真正的AGI還有多遠？我們如何預測AGI的社會影響並評估其潛在風險？
想回答這些問題，首先要在那些帶有迷惑性的科幻作品之外，准確地、可操作地定義AGI。
嘗試定義AGI
嘗試定義通用人工智能的概念，最早可追溯到上世紀五十年代著名的“圖靈測試” [7]。在這一測試中，人類需要使用文本，與某未知對象進行交流，並據此判斷對面是機器還是人類。圖靈的洞見在于，機器是否能“思考”不取決于其思考過程，而在于其表現的能力。但是，因爲人類太容易被糊弄，這一測試通常並不能很好地反映智能的程度。
此後，約翰·瑟爾（John Searle）在他著名的“中文房間”[8]思想實驗中，則將AGI視作一種有“意識”的強AI系統。雖然將AI與“意識”相連聽起來很誘人，但這更多是哲學上的討論，而非可驗證的科學，因爲“意識”本身更是一個難以被科學定義的概念。
而在馬克·古布魯德（Mark Gubrud）1997年首次提出AGI這一概念時，他將AGI類比于人腦——一種能在複雜性和速度上超越人腦，能獲取和內化知識，被用于需要運用人類智慧來解決問題的用途之上。但問題在于，現代的AI系統，比如基于Transformer模型，與人類的大腦結構和學習模式的聯系其實並不緊密。
更近地，本世紀初，當DeepMind聯合創始人謝恩·萊格（Shane Legg）將AGI的概念向計算機科學家們普及時[9]，他將AGI定義爲在認知任務上能取得類人表現的機器智能。但這一定義並未明確所指的任務類型和“類人”標准。
除此之外，近期還有從學習任務或元認知能力（不充分），經濟價值（不必要不充分），靈活性（不充分）等方面對AGI的定義嘗試，但它們都有各自的問題。在今年，還有一些極具影響力的科學家提出[10]，當前最佳（SOTA）的大語言模型已經是AGI，因爲它們在許多任務上都能取得一定的表現，足夠通用；但是，在通用之外，真正的AGI還必須擁有足夠可靠的性能。
事實上，所有這些嘗試都在試圖定義一個AI發展的“臨界”或“終極”狀態。但是，我們通向AGI的巅峰之旅，恐非一點之極，而似層巒疊嶂、地形錯綜的高原。
▷圖 1：原始論文，參考文獻12。
最近，謝恩·萊格帶領DeepMind團隊總結曆史上的定義，並在此基礎上提出了他們對AGI的定義框架[12]。
從理論到實踐：定義AGI的六大原則
從這些過去定義AGI的嘗試中，研究人員發現了一些共同特征，並從中提取出定義AGI所必須滿足的六大原則：
1.注重能力，而非過程：AGI的定義應關注于其能完成的任務，而非完成這些任務的具體方式。這意味著，實現AGI並不意味著系統必須以類似人類的方式思考或理解。
2.注重通用性與性能：AGI不僅要能夠執行廣泛的任務（廣度、通用性），還要在這些任務上都能達到一定水平（深度、性能）。
3.注重認知與元認知任務：AGI必須在有能力處理認知任務（如解決問題、創造性思考）的同時，具有元認知能力（如學習新技能，或知道何時向人類請求幫助）。
4.專注于潛力而不是實際應用：評估AGI時，應關注的是其潛在能力，而非它目前的實際應用情況（取決于在真實世界中的部署）。
5.重視實際適用性：AGI應能解決現實世界中的實際問題，它的價值在于能夠應對現實生活中複雜和多樣化的挑戰。
6.關注實現AGI的路徑，而非單一終點：正如通過一套自動化駕駛的標准體系會更有助于針對自動駕駛車輛相關的政策制定和進程推進一樣，定義AGI在不同“水平”上的衡量標准是很有益的。AGI的發展就像是一次長途跋涉，終極目標可能不是一個固定點，而是一個不斷演進的過程。
理解AGI：定義層級
由此，研究人員將“性能”和“通用性”作爲評估AI系統AGI程度的兩個核心維度。其中，“性能”測量AI系統能力的“深度”，即在給定任務中與人類表現相比，AI系統達到的水平如何。“通用性”測量AI系統能力的“廣度”，即AI系統能解決的任務範圍。如果把沒有AI時的計算系統當作AI發展的起點（比如最基礎的計算器），把超過所有人類表現的AI系統當作AI的終極形態（比如國際象棋界孤獨求敗的AlphaZero[11]），那麽便可以把AI的性能發展分爲六個階段：無AI、智能湧現、勝任、專家、大師、超人類。同時，研究人員把AI系統分爲專一于特定任務的“專才”系統和勝任各類任務的“通用”系統。這樣就可以把現有的AI系統作如下分類：
▷圖 2：基于能力的深度（性能）和廣度（普遍性）對AGI道路系統進行分類的分級矩陣方法。每個單元中的示例系統是基于文獻中的當前描述或與部署的系統交互的經驗的近似值。圖源：參考文獻12，由追問譯。
使用這一框架測試通用人工智能
AGI測試是評估AI全面能力的關鍵步驟。上述六大原則爲AGI的理解和測量提供了一個全面的框架。其中，普適性和性能原則引導研究者構建了一個分層的本體論框架，以深入討論AI的廣度和深度。
在AGI測試中，性能的維度是比較直觀的：我們可以通過比較AI系統與人類在相同任務上的表現來評價它。這就好比在一場圍棋比賽中，我們不僅會看棋手贏了多少盤，還要看他們擊敗了哪些級別的對手。
通用性的維度則更具挑戰性。它要求我們回答一個關鍵問題：一個AI系統需要掌握哪些任務，才能被認爲具有足夠的廣泛性？例如，一個能夠進行數學推理、理解自然語言、甚至創作音樂的AI，顯然展現了更廣泛的能力範圍，但這足夠通用嗎？這就像在技能的茫茫宇宙中找到最具代表性的星體，既要足夠廣泛又要足夠重要。對此，研究人員認爲，還需要更多的研究。
值得一提的是，在評估AGI的性能時，所使用的測試應當盡可能地貼近真實世界的應用場景。例如，評估自動駕駛汽車時，比較其與不使用任何現代AI輔助工具的人類駕駛員並不夠有說服力。反而，應當將其與那些已經采用某些駕駛輔助技術的人類駕駛員進行比較，這樣的比較才更有意義。
此外，AGI的基准測試可能會包含一些開放性和互動性的任務，這些任務可能需要定性評估（換句話說就是人類的主觀評價）。這就像是在一場藝術比賽中，裁判不僅要考慮作品的技術程度，還要評價創意和表現力。例如，我們可能要求AI系統解讀文學作品，或者創作一首詩，這些任務不僅考驗AI的技術能力，還考驗其創新性和對人類情感的理解。
最後，構建一個AGI的基准測試是一個需要不斷叠代和改進的過程。這個基准本身也必須不斷更新，以適應AGI可能完成的各種任務，畢竟我們永遠也無法窮舉所有AGI應完成的任務。這不僅僅是爲了測量AGI的當前能力，更是爲了激發它向更高的智能進化。這個過程既是技術的挑戰，也是我們對智能理解深度的體現，更重要的是，它將引導技術發展的未來走向。
其他研究方向
除了構建AGI的基准測試外，要想更好的向AGI邁進，其他幾個研究方向也尤爲關鍵。
對齊
對齊（alignment）的目標，是確保AI系統的行爲與人類的利益和價值觀保持一致。這是避免AI系統産生不可預料後果和潛在危害的關鍵。在今年的NeurIPS和2024年的ICLR投稿中，就有大量的論文和研究集中這一領域，突出了其重要性。它們不僅關注理論和技術的進步，還涉及相應的治理手段，以確保AI在複雜和動態的環境中依然能夠遵循人類的倫理和價值觀。隨著AI系統與社會的逐步融合，對齊研究的價值將日益凸顯。
機械解釋性
機械解釋性（mechanistic interpretability）相關的研究旨在揭示AI系統如何做出決策，以及這些決策背後的機制。通過增強我們對AI系統內部運作的理解，可以更好地監控和指導這些系統的行爲，確保它們的行爲符合人類的期望和標准。
跨學科合作
跨學科合作在AGI研究中也起著至關重要的作用。從計算機科學到哲學、心理學、神經科學、法學、社會學、乃至政治學，各個學科的專家都需要共同努力，以確保AI系統的設計和應用不僅在技術上先進，而且在倫理和社會層面上不掉隊。這種合作將有助于我們更全面地理解AGI的潛在影響，並爲其帶來的挑戰提供創新的解決方案。
風險的多面性：從存在性到極端風險
當我們探討AGI時，各種風險概念經常被提及，從“x-risk”（existential risk，即存在性風險）到各類極端風險。所謂存在性風險，是指對人類生存造成威脅的風險，而極端風險則涵蓋了一系列可能對社會造成嚴重影響的危險。這些風險的多面性不僅讓我們對未來充滿好奇，也提醒我們要謹慎前行，畢竟在每個轉角都可能隱藏著新的挑戰和機遇。
AGI等級與風險評估
通過定義AGI層級框架，我們能夠更清晰地看到不同等級的AGI所帶來的風險，而不是將其視爲一個單一的事件進行評估。在這套框架下，政策制定者能夠識別並優先處理當下發展階段帶來的風險。例如，專家級AGI可能會導致人們的工作崗位被機器智能取代，使得經濟領域出現動蕩，但同時也可能減少在較低級別AGI中出現的一些問題，如任務執行不當的風險。這就像在攀登科技高峰時，需要不斷地平衡和調整，以確保人類不會在追求高度的同時喪失了安全。
但是，必須承認，技術的叠代速度，特別是在AGI領域，可能會超越現有的法規和外交政策的步伐。我們已然駕駛著一輛超高速的列車，但現有的道路規則可能還停留在馬車時代。這將帶來更爲複雜的影響。比如，首個達到ASI（人工超智能）的國家可能會獲得巨大的地緣政治和軍事優勢，而這可能會引發一系列風險和挑戰。
正因如此，研究人員認爲，AGI的基准測試不僅應是對AI能力的測量，也更應是對其潛在風險的評估。這其中包括了如何處理AGI可能具備的危險能力，如欺騙和暗示性說服。我們在培養一個全能的個體時，不僅要教給它知識和技能，還要教會它如何負責任和道德地使用這些能力。例如，Anthropic推出的負責任擴展政策[12]，通過爲不同級別AI系統設定不同的風險等級和防範措施，展示了一種平衡創新與安全的方法。
自主性與風險：設計的藝術
在考慮AGI的應用時，我們也需要思考它們如何與人類互動。還是回到自動駕駛汽車的例子，完全自主的車輛（Level 5）無需人類幹預，而對較低自主層級（如Level 2）的車輛，人類司機仍然扮演重要的監控和控制角色。在下表中，研究人員通過六級自主性來描述人機交互的範式。在這套範式中，AI系統自主化等級與其綜合能力存在著直接聯系。這意味著，隨著 AI 系統變得更加高級和自主，它們能夠提供更多樣化的交互方式，同時也可能引入不同類型的風險。
自主性的不同層級代表了人類與AI之間合作的不同方式。有時，即使技術上可實現更高級別的自主性，但出于教育、娛樂或安全的考慮，選擇較低級別的自主性可能仍是更明智的選擇。例如，在自動駕駛領域，即使有能力實現完全自動駕駛，我們仍甯可選擇讓人類司機參與，以保證安全和適應性。將AGI系統置于實際使用場景中考慮，可以幫助我們更好地理解模型進步與人工智能交互範式進步之間的關系。這種考慮方式不僅能夠幫助我們預測 AI 系統的發展方向，還能指導我們在設計這些系統時，如何確保這些進步既服務于人類需求，又不犧牲安全。
▷圖 3：不同自主等級達成的AGI層次，以及其可能引發的風險。圖源：參考文獻12，由追問譯
OpenAI的觀點：AI發展及其對社會的影響
今年更早些時候，OpenAI的CEO薩姆·奧特曼（Sam Altman）在他的博客文章Planning for AGI and Beyond[12]裏，探討了AGI對社會、技術和倫理的潛在影響，並強調了慎重規劃和負責任的發展的必要性。
文章指出，通過增加資源豐富度、推動全球經濟增長，以及助力新科學知識的發現，AGI有潛力極大地提升人類生活質量。這不僅是智力的巨大增幅，更是對人類創造力和想象力的極大擴展。然而，AGI的出現也可能帶來嚴重的濫用風險、意外極端事件的可能以及對社會結構的劇烈動蕩。因此，OpenAI提倡在發展AGI時，AGI開發者以及全社會都必須找到正確的方法來實現和利用這一技術，確保其與人類核心價值觀保持一致，並公平地分享其帶來的好處。
此外，OpenAI認爲，從長遠來看，AGI的出現僅僅是智力發展的一個節點，而人工智能的進步可能會在未來相當長一段時間內繼續保持。OpenAI提出了一個安全的AGI發展願景，即在較短時間內以較慢的速度過渡到AGI，以便社會有時間適應和調整。
盡管未來不可預知，但OpenAI表達了他們最關心的幾個原則：
希望AGI能最大限度地促進人類在宇宙中的繁榮；希望AGI帶來的好處、訪問權和治理能夠被廣泛且公平地分享，並成功應對巨大風險。
爲此，OpenAI倡導在短期內進行漸進式過渡、繼續創造越來越符合目標的模型，並在長期進行全球範圍的對話，討論如何治理這些系統、如何公平分配它們産生的好處，以及如何公平分享訪問權。這一過渡到擁超智能的世界的過程，可能是人類曆史上最重要且最充滿希望和恐懼的時間，沒有人能保證成功。但在極高的風險和回報下，全人類需要團結起來，讓AGI在未來世界以一種對人類最有益的方式綻放。
結論：穩步前行的必要性
總的來說，AGI的進步不僅代表了技術創新，更是對未來人機交互方式的重新想象。隨著我們探索AGI的未知領域，穩健和有序的發展是至關重要的，它確保了人類在追求技術的同時，不會忽視潛在風險。通過理解 AGI 系統的不同發展水平和相應的自主性水平，我們能夠不斷地評估和調整步伐，更好地准備應對未來的挑戰，同時確保這些技術的發展能夠以安全、負責任的方式造福人類。
-[文 : 追問nextquestion*作者 : P&T*編輯 : 存源/钛媒體]
