【編者按】今年 5 月，初創公司 Inflection AI 開發了一個人類情感的 AI 按摩師——Pi。作為一款基於生成式 AI 技術開發的產品，與 ChatGPT 等聊天機器人不同的是，它的主要應用領域更為特定，專注於在聊天情境中與用戶進行對話。Pi 的目標是，成為用戶在聊天時可以親近的「朋友」。
兩個月後，Inflection AI 在新一輪融資中籌集到了 13 億美元，估值一躍突破 40 億美元，成為了估值僅次於 OpenAI 的 AI 初創公司。除了微軟、英偉達領投之外，還包括微軟創始人 Bill Gates、谷歌前 CEO Eric Schmidt、LinkedIn 聯合創始人 Reid Hoffman 等個人投資者。
另外，這家初創公司也有着耀眼的創始團隊，包括領英創始人 Reid Hoffman、DeepMind（現與 Google Brain 一起合併為 Google DeepMind）聯合創始人 Mustafa Suleyman 和前 DeepMind AI 專家 Karén Simonyan。
其中，Mustafa 在即將出版的《即將到來的浪潮》（The Coming Wave）一書中談到了 AI 以及其他技術可能逐漸主導各個領域，並有可能對民族國家的結構構成潛在威脅。
近日，Mustafa 接受了美國數字媒體 WIRED 主編 Gideon Lichfield 和高級作家 Lauren Goode 的採訪，就該書中的主要觀點和其他 AI 領域重點問題展開了深度討論。核心觀點如下：
Mustafa 預測，AI 的下一波浪潮將會是人類與 AI 進行對話的浪潮，這將成為主要的控制機制。
個人 AI 更接近於個人助理，它會根據你交給它的任務，在正確的時間調用正確的資源。它具有通用性的元素，但它的設計並不是以通用性作為首要原則和主要的設計目標。
迄今為止，尚未出現一個令人信服的理論框架，使 Mustafa 對開發具備顯著遞歸自我改進能力的 AGI 抱有信心。
狹窄的 AI 可能更安全，儘管並不能完全確保安全性。相比之下，更通用的 AI 更有可能表現出自主性，但其安全性可能相對較低。
擁有一名私人助理可能會讓你成為一個更聰明、更有生產力的人。
大約 15-20 年後，非國家實體會變得非常強大，其中一些團體都有意願和動機造成嚴重傷害。
區分出內容的真實創作者變得愈發困難，唯一真正有效的監管方式就是讓科技平台將其視作一項規則。
在發布新產品時，我們必須非常謹慎，因為那時的世界可能尚未準備好應對這些變革。
遏制（containment）將是下一個 10 年的主題。
學術頭條在不改變原文大意的情況下，做了簡單的編譯。內容如下：
Gideon Lichfield：Mustafa Suleyman，歡迎來到 Have a Nice Future。
Mustafa Suleyman：你好，Gideon，很高興來到這裡。
Lauren Goode：歡迎你的到來。
Mustafa Suleyman：嘿，Lauren，謝謝你邀請我。
Lauren Goode：我實際上問過 Pi，當我知道你要來時，我打開了它，我問它我應該在這個播客上問你什麼。它說：「哦，這太令人興奮了！Mustafa Suleyman 是一位了不起的思想家和創新者。」
Mustafa Suleyman：天啊。
Lauren Goode：「他的書肯定充滿了見解。我能問一下你有什麼類型的播客以及你想從採訪中獲得什麼嗎？」我從中感覺到數據集可能有點偏差。你是怎麼想的？
Mustafa Suleyman：你應該重新翻閱，看看是否有不同。可能會帶着同樣的熱情，但我向你保證，這絕對不是我們人工編寫的。
Lauren Goode：但現在有很多個性化的 AI 聊天機器人助手。自從 OpenAI 在 2022 年底發布聊天機器人以來，它們一直很火爆。你為什麼決定使用聊天機器人？
Mustafa Suleyman：我相信未來的對話將會有一個全新的界面。如果你現在審視你的計算機甚至手機，你會在底部導航欄上看到許多按鈕和圖標，它們構成了一個五光十色的彩色世界。然而，這實際上可能是一個令人不知所措的體驗。這是因為這些設計並沒有以一種統一、清晰、以人為本的界面為首要設計原則。它們旨在滿足人類與計算機之間信息傳遞的雙重需求。我預測下一波浪潮將會是你與 AI 進行對話的浪潮，這將成為主要的控制機制。
Gideon Lichfield：大約 12 年前，你與其他人共同創立了 DeepMind。與 OpenAI 一樣，DeepMind 的使命是以道德和安全的方式開發通用人工智能（AGI）。然而，12 年後，你創立了 Inflection AI，並表示你不再專注於 AGI 的發展。我想了解一下，是什麼原因導致了這種變化？你的目標又是什麼？
Mustafa Suleyman：我們於 2010 年創立了 DeepMind，其宗旨是構建安全且符合道德的通用 AI，這是一個能夠在各種環境中良好運行的系統。這就是 DeepMind 的使命，相信我們必須從頭開始學習一切。現在，在 Inflection，我們正在開發一種名為 Pi 的 AI，它代表個人智能，它更狹隘地專注於成為個人 AI，與學習任何具有挑戰性的專業技能 AI 完全不同。在我們看來，個人 AI 更接近於個人助理。它就像參謀長，是朋友、知己、支持者，它會根據你交給它的任務，在正確的時間調用正確的資源。所以它具有通用性的元素，但它的設計並不是以通用性作為首要原則和主要的設計目標。
Gideon Lichfield：你是否認為 AGI 具有危險性？這是否是你決定不繼續追求 AGI 的原因，或者你是否認為實現 AGI 是不可能的？
Mustafa Suleyman：在我看來，迄今為止，尚未出現一個令人信服的理論框架，使我對開發具備顯著遞歸自我改進能力的 AGI 持有信心。
Lauren Goode：你關於 AGI 的觀點，以及尚未經過驗證甚至缺乏理論框架的影響，對於正在構建的模型類型有何影響？
Mustafa Suleyman：我認同這種思考方式。狹窄的 AI 可能更安全，儘管並不能完全確保安全性。相比之下，更通用的 AI 更有可能表現出自主性，但其安全性可能相對較低。我們的 AI 是一種個人助手型的 AI，主要設計用於優質的對話，並隨着時間的推移逐漸學會為用戶處理事務。因此，它將能夠使用 API，但這並不意味着你可以像引導一種語言模型一樣引導它，因為它與傳統的語言模型不同。我們的 AI 是一種不同的實體，而 GPT 等語言模型則有其獨特的特點。
Gideon Lichfield：有什麼不同？
Mustafa Suleyman：構建 AI（大模型）的第一個階段是訓練一個大型語言模型。第二階段被稱為微調，即嘗試對功能範圍廣泛的預訓練模型進行調整或限制，以使其能夠執行特定任務。對於我們來說，這個任務是對話、教學、知識共享、娛樂和樂趣等等，但對於其他公司來說，他們實際上希望將其作為 API 公開，這樣你就可以訪問具有所有這些其他功能的預訓練模型。我認為這就是安全挑戰變得更加困難的地方。
Gideon Lichfield：在不久的將來，你所描述的不久的將來，每個人都有一個個人 AI 助理或參謀長，正如你所說的那樣，它可以為用戶完成任務，也許它可以預訂旅行或組織旅行或為他們做一些研究。
Lauren Goode：它很快就會為我們主持我們的播客，Gideon。
Gideon Lichfield：嗯，是的，這是一個好問題。它會取代我們嗎？它會取代我們的生產商嗎？但更重要的是，我認為在這個我們都有 AI 助手的世界裡，你建議這可能有助於人們擺脫貧困，創造新的經濟機會。20 年前，沒有人擁有智能手機，很難想象擁有智能手機會如何改變世界，而今天，幾乎所有人都有電腦，我們可以做一些過去難以想象的事情。但在某些基本結構層面，世界並沒有什麼不同，不平等和衝突依然存在。那麼，每個人都有 AI 助手的世界與今天有何不同呢？
Mustafa Suleyman：是的，你說得對。我不認為我會同意過去 20 年來世界在結構上沒有任何變化。雖然並非所有變化都應該歸功於智能手機，但毫無疑問，可以公平地說，智能手機讓我們更聰明，使我們能夠獲取信息，與新朋友建立聯繫，許多重要的業務都依賴於這種硬件。所以，這一點顯而易見。
Gideon Lichfield：它使我們容易受到錯誤信息的影響，也可能導致我們花費過多時間在不一定有益的娛樂活動上，所以我認為你可以提出一些反駁。
Lauren Goode：讓我們駕駛車輛變得更差。
Mustafa Suleyman：當然。看，我絕不是技術天真的樂觀主義者，因此無疑存在着巨大的缺點和危害。然而，在我看來，個人 AI 與智能手機的湧現沒有太大不同。智能手機本質上已將我們人類能夠發明的最強大移動設備普及到超過十億人的手中，這意味着無論你的財富狀況如何，無論你是億萬富翁還是領取固定工資，我們都可以使用同等尖端的硬件。我堅信從一開始就明確地宣示我們正處在這個軌跡上，這一點非常重要，我對此感到難以置信。
Gideon Lichfield：我認為人們同樣可以提出這樣的論點：一項新技術既能喚起我們最糟糕的衝動，也能激發我們最美好的衝動。因此，有人可能會充滿自信地說：「AI 助手的缺點和優點一樣多，就像智能手機一樣。」
Mustafa Suleyman：這是訪問網絡信息的另一面。如今，我們將能夠利用功能強大、具有說服力的教學 AI，這些 AI 可能會幫助我們實現各種陰暗目的。這是一個我們不得不應對的問題，它可能會引發一些不良影響，這毫無疑問，這是我們必須面對的現實。
Lauren Goode：你能夠區分「這是一個用於任務完成或更輕鬆獲取信息的個人 AI」與「這將有助於解決貧困」之間的界限嗎？實際上，這是如何運作的呢？我所指的個人 AI，也就是 Pi，作為你的聊天機器人，剛剛在這個播客中為你呈現了一個有趣的幽默插話，同時也可以幫助消除貧困。
Mustafa Suleyman：這是一個很難回答的問題。我沒有把這兩者放在一起，我沒有說它會解決貧困或解決世界飢餓問題。這不是 Pi 的設計目的。Pi 是一個個人 AI，可以幫助你提高工作效率。其他人會將 AI 的進步用於各種事物，包括渦輪增壓科學。所以在科學方面，我完全可以認為這是一個工具，可以幫助你更有效地篩選論文，幫助你綜合最新進展，幫助你存儲和記錄你的所有見解，並幫助你成為一個更高效的研究員。我的意思是，思考這個問題的方式是，我們正在將互聯網上提供的知識以個性化的形式壓縮成易於消化的知識。現在有大量的信息可以以高度個性化的方式複製，我認為這將增強人們的智力，而這本身將使他們更加富有成效。總的來說，我認為擁有一名私人助理可能會讓你成為一個更聰明、更有生產力的人。
Gideon Lichfield：你正在 Inflection 公司從事與 AI 緊密相關的工作，同時你即將出版一本書，該書在開篇探討了 AI 的近期未來，並最終預測了國家可能面臨的崩潰。你是否可以為我們概述一下這個論點呢？
Mustafa Suleyman：隨着 AI 的迅速發展，過去 10 年中這些模型的規模每年增長了 10 倍。在接下來的 5 年，我們的發展軌跡將每年增長 10 倍，這一趨勢非常可預測且有很大的可能性。
Lauren Goode：這本書的前提是我們還沒有為此做好準備？
Mustafa Suleyman：我們絕對還沒有準備好，因為這種技術的能力正在不斷縮小，變得更加高效，而且在發明史上，任何有價值的技術往往會變得更加廉價、更加緊湊。因此，它的應用將呈指數級增長。因此，未來 10 年的趨勢是權力的分散。我認為這將對民族國家構成真正的威脅，與過去任何一個時期我們所面臨的威脅都不同。
Lauren Goode：你認為自己是一個有權力的人嗎？
Mustafa Suleyman：是的。
Lauren Goode：是什麼權力？
Mustafa Suleyman：嗯，我如今有很多財富，在 2014 年成功出售了自己的公司，現在創辦了一家新公司。我也受過良好的教育。儘管我小時候來自一個貧困的工人階級移民家庭，沒有得到過什麼教育，但如今我確實已經躋身於社會的特權階層。
Lauren Goode：因此，你處於一個獨特的位置，因為你的書中指出了這種權力不平衡，並預測了即將到來的浪潮將帶來這些情況。
Mustafa Suleyman：沒錯。
Lauren Goode：但你本身是一個強有力的人，最終可以——就像你可以微調你自己正在構建的AI 參數一樣。
Mustafa Suleyman：沒錯。我認為遏制（containment）是下一個 10 年的主題。
Gideon Lichfield：好的，讓我們在書中探討一下「遏制」的概念，因為這是一個從冷戰時期借用的術語。在那個時候，它通常指的是控制武器擴散或限制國家行動。但如今這個詞已經被應用於可以傳播到數十億人手中的技術領域，顯然具有截然不同的意義。你認為當今遏制這些技術的本質是什麼？
Mustafa Suleyman：（競爭）遊戲結束後，我們會對一項技術進行全面遏制，然而並不存在完美的狀態，因為這些技術將繼續變得更加廉價、更加易於使用，對它們的需求將不斷增加。與以往任何其他技術不同，這些技術是萬能的，本質上是通用的，它們可以應用於各個領域，以及介於兩者之間的任何事物。
因此，試圖劃定和定義哪些技術應受限制，目前政府實際上無法進行實時評估。這就是為什麼我一直支持並參與白宮的自願承諾。因此，我認為這是積極和預防性的例子，鼓勵我們對我們可以採取的行動，特別是針對最大規模的模型，進行自我限制。因此，我們受到了這個門檻的限制，最大規模的模型必須在訓練和部署方式上更加審慎、專注和預防性地進行額外的考慮。
Lauren Goode：那麼你如何簡明扼要地表達這個問題呢？你可能會說，「我們剛剛簽署了一項承諾，自願尋求創建安全防護措施，但今年我們正在訓練世界上最大的大型語言模型。」 這聽起來可能有些囉嗦，世界上最大的大型語言模型。實際上，這意味着什麼？當像你公司這樣的團體簽署了一份承諾，表示「我們將研究原始信息等問題，然後圍繞此制定解決方案」，或者「我們將確保訓練數據不帶有偏見」，從日常角度看，你的團隊和工程師們實際上在做些什麼，以確保這更加安全呢？
Mustafa Suleyman：我們希望了解模型所使用的訓練數據，並且關於如何微調和限制這些模型的能力，我們正在採取哪些方法和過程？同時，誰有權力對這一過程進行審計？因此，在這種情況下，我們的策略是儘早採納預防原則，以確保我們養成這一習慣，以便在未來 5-10 年內不斷地實施這一原則，以應對變化。
Gideon Lichfield：如果我是個憤世嫉俗的人，當然我絕不是這樣的......
Mustafa Suleyman：當然不是。
Lauren Goode：不是吧，Gideon。
Gideon Lichfield：我或許可以表達為，你和其他 AI 公司似乎在為自己設定相當有利的條件，因為你們可以向政府提出：「政府，實際上你很難充分了解這些技術以進行監管，所以我們自願採取一些防護措施，我們將引領討論並決定預防原則應當多麼謹慎。」 在這種情況下，我想要了解的是，因為私營部門擁有設定有益於社會實際標準的專業知識，那麼他們主導這一對話的動機是什麼？
Mustafa Suleyman：如果我們能夠通過正式的法規實現這一目標，我認為那將是一個良好的開端。然而，你說得對，我同意好的法規應該匯集來自多元化人群的意見，反映他們的關切，並藉助廣泛的政治過程得出。目前的局勢似乎被冷漠、憤怒和兩極分化所占據。然而，現在正是一個關鍵時刻，我認為我們還有足夠的時間，還有很多年來努力實現這一目標。我相信在接下來的 10 年裡，我們有足夠的時間進行廣泛的討論。在某種程度上，這是我在書中努力傳達的信息，也是其他人在自願承諾方面所努力的一部分。
Gideon Lichfield：有哪些情景是你預測到的，而大多數人可能甚至無法想象的？如果我們無法將這些技術控制在適當範圍內，可能會發生什麼？
Mustafa Suleyman：嗯，我同意，大約 15-20 年後，可以想象非國家實體會變得非常強大。其中一些團體都有意願和動機造成嚴重傷害。因此，如果引發和進行衝突的門檻迅速降低，那麼國家將面臨一個嚴峻問題，即如何繼續保護國界的完整性和國家的正常運作？如果越來越少的人能夠行使類似國家的權力，那確實是一個即將到來的風險。
Lauren Goode：我對你在 Inflection 方面的做法非常感興趣，考慮到你的背景，你曾在政治領域工作，從事過社會公益項目，當然還共同創辦了 DeepMind 並在谷歌工作過。此外，你還寫了一本書，似乎懷有外交意圖，堅信合作的力量。那麼，我想了解一下，為什麼你選擇成為一名創業公司的創始人呢？
Mustafa Suleyman：我在創造事物的過程中是最開心的。事實上，我喜歡深入了解事物的運作原理，而我對微觀層面的探索特別感興趣。我欣賞從微觀到宏觀的全景，但我不能只停留在宏觀層面。每天，我都沉浸在創造的過程中，我認為這就是我作為創業家的一面。我熱愛思考「明天我們將發布什麼？我們將創造什麼？我們要構建什麼？」如果我必須在這兩者之間做出選擇，我會選擇創造事物，因為那是讓我感到最幸福的事情，也是我最喜歡做的事情。
Lauren Goode：那你認為在創業公司領域之外工作，聽起來會很辛苦嗎？你可能不會從中獲得太多的滿足感。
Mustafa Suleyman：太慢了。
Lauren Goode：…...看到你的努力的影響。
Mustafa Suleyman：我需要反饋。我需要衡量。
Lauren Goode：你需要反饋。你可以成為一名記者。我們必須一直發布內容，而且我們在網上獲得了很多反饋。我可以為你讀一些評論。
Mustafa Suleyman：聽到這個我很抱歉。希望我們的 AI 能對你友好，支持你的工作，打擊所有在推特上的惡意評論者。
Lauren Goode：要明確一下，我們在《連線》的報道中並沒有使用 AI。
Mustafa Suleyman：還沒有。
Lauren Goode：哦，天哪。這是另一個完全不同的播客。
Gideon Lichfield：但也許我們將會用 Pi 來拯救我們免受推特上的惡意評論，就像 Mustafa 所說的那樣。
Lauren Goode：也許。
Gideon Lichfield：對不起。在 X 上，在 X 上。不是在推特上，不再是。
Lauren Goode：對，沒錯。
Mustafa Suleyman：哦，天啊。
Gideon Lichfield：你離開谷歌創辦了 Inflection，並對谷歌的緩慢進程和官僚主義表達不滿。你說他們本可以在 OpenAI 發布 ChatGPT 之前的一年或更長時間發布自己的大型語言模型。這似乎與你在書中表達的謹慎態度有些不符，你在書中提到：一方面，我們在谷歌需要更快速的進展，我渴望能夠每天都推出新的成果；另一方面，我們在發布新產品時必須非常謹慎，因為當時的世界可能尚未準備好應對這些變革。」
Mustafa Suleyman：是的。我可以從與 LaMDA 的每日互動中看出，它在任何重大方面都沒有造成實質性的傷害，就像 GPT-4 一樣，我認為你很難斷言它造成了一些實質性的傷害。
Gideon Lichfield：還沒有。
Lauren Goode：說得好，Gideon。
Mustafa Suleyman：也許是這樣，儘管我持懷疑態度。這個模型已經被數十億人使用過了，或許會有一些跡象。我們或許需要等待幾年，未來會揭示更多。我認為，對於這樣規模的模型，引發重大問題的可能性相對較低，當時對我來說這一點是相當明顯的。我認為最佳的操作方式是以合理的步伐推出產品。這並不意味着要輕率行事，但在獲得反饋、評估影響並觀察人們使用模型的方式後，進行仔細且反覆的調整是至關重要的。
Gideon Lichfield：我想諮詢一下關於你提出的「現代圖靈測試」的觀點。你提出我們需要一種新的方法來評估智能，而不僅僅是那種聽起來像人類過時的想法。你所舉的一個機器能夠通過圖靈測試的例子是，你可以對它說：「從一小筆錢開始，幫我賺一百萬美元。」然後它會着手實施。我想了解一下，為什麼你選擇將這個例子作為衡量智能的標準呢？
Mustafa Suleyman：在我看來，現代版的圖靈測試是一種通過賦予 AI 一個相當抽象的目標來評估其智能水平的方法。我選擇了「創造一個產品，將其製造出來，進行市場營銷和推廣，然後努力賺取一百萬美元」的示例。我認為在最初的階段，現代圖靈測試可能需要相當多的人工干預，或許需要三四次甚至五次人類介入，以完成合同簽署、銀行賬戶開設，以及涉及法律和金融審批等方面的任務。然而，我相信在許多其他方面，比如與製造商進行電子郵件溝通、採用分銷模式、通過創作新的營銷內容來優化市場營銷等，我們在單獨的組成部分已經接近實現了。當前的挑戰在於將這些獨立的元素相互串聯，從而在一個廣泛的目標下形成一系列行動。
Lauren Goode：這真的很有趣，因為一開始我以為這只是一個短時期內將 AI 變成風險投資家的圖靈測試。但我現在理解了你的觀點，確實是需要一種能夠將各個環節聯繫起來的紐帶，而這部分正是目前還缺失的。那麼，有什麼問題或挑戰會讓你夜不能寐呢？
Mustafa Suleyman：我認為未來 10 年最大的挑戰將是權力的擴散，它將放大不平等，加劇兩極分化，因為傳播虛假信息將會比以往任何時候都更容易。我認為這將會動搖我們當前不穩定的世界。
Gideon Lichfield：你認為 AI 除了成為問題的根源，可以成為解決問題的一部分嗎？
Mustafa Suleyman：有趣的是，我認為科技平台在這一領域將扮演着關鍵的角色。實際上，它們在監管網絡內容方面已經發揮了重要作用。我認為我們需要更深入地思考關於持續實時監管主要平台和網絡本身的想法。確實，區分出內容的真實創作者變得愈發困難，我同樣認為唯一真正有效的監管方式就是讓科技平台將其視作一項規則。
Lauren Goode：最後一個問題。在你的個人助手 Pi 對你讚美後，我向它提了一些更難的問題要，其中有一件事它說道：「如果你必須選擇一件希望人們今天停止做的事情，以便我們能夠擁有更美好的未來，那會是什麼？」
Mustafa Suleyman：我認為可能是我們會假定別人有惡意。我們傾向於忽視彼此，幾乎下意識地選擇不去聆聽對方，因為我們已經將他們貼上了「惡意」的標籤。我覺得如果我們能夠真正努力站在對方的角度考慮問題，交流就會更加順暢。我越是這樣去做，就越感到自己變得謙卑。這確實是一項具有挑戰性的任務。Pi 在這個問題上確實成功地向我提出了一個深入思考的難題。
Lauren Goode：我們都應該找到自己的方式，做一些實地調查，是這樣的嗎？
Mustafa Suleyman：沒錯，你必須去親身體驗、感受、嗅聞，將自己融入一個與你平常所處環境不同的環境中。
Gideon Lichfield：這真的很有趣，Mustafa，非常感謝你與我們的交流。
Mustafa Suleyman：非常感謝，這很有趣。
原文作者：Gideon Lichfield、Lauren Goode，WIRED
原文標題:The World Isn’t Ready for the Next Decade of AI
(來源:學術頭條)
