「技術是為了人類，為了我們的利益、我們的繁榮而存在的，但我們很容易忘記這一點」
左為肯尼斯·斯坦利（Kenneth Stanley），右為喬爾·雷曼（Joel Lehman）
肯尼斯·斯坦利（Kenneth Stanley）不是諮詢從業者，但近幾個月，他的郵箱堆滿諮詢郵件。困惑的人們在郵件里問他：「這一切是什麼意思？」
「這一切」，指的是ChatGPT的出現，及其引發的AI熱潮。自去年11月發布以來，全世界的人都在使用它、談論它，試圖理解它代表的威脅和機會。
研發出ChatGPT的公司OpenAI同樣成為熱門話題。肯尼斯曾在那裡工作。已經錯過ChatGPT、擔心再次錯過新機會的投資人聯繫到他，想了解他在做什麼，因為「任何與人工智能、與OpenAI有關係的人，都可能在做重要的事情」。
OpenAI另一位前員工喬爾·雷曼（Joel Lehman）則接到了世界各地獵頭的詢問，包括中國。他與肯尼斯於2020年入職OpenAI，並在ChatGPT發布前幾個月離開。在OpenAI，他們共同領導的開放性（Open-Endedness）團隊，致力於讓算法在沒有預定目標的情況下自我學習、創新。
此前，他們曾在大學、AI初創公司幾何智能（Geometric Intelligence）、優步（Uber）AI實驗室工作。2022年離開OpenAI後，肯尼斯創辦了一家名為Maven的公司，建立開放式、偶然性社交網絡，而喬爾在AI獨角獸Stability旗下的Carper領導開放性研究團隊。
他們已在人工智能行業工作多年，但如今技術進展之快、論文數量之多，有時也讓他們感到難以跟上。
此刻的中國人工智能行業面對相似的焦慮。業界、學界機構擔心錯失機會，紛紛發布大模型。5月28日，科技部直屬的中國科學技術信息研究所發布《中國人工智能大模型地圖研究報告》，稱中國10億級參數規模以上大模型至少有79個。這個數字還在持續增加，競爭越來越激烈，參與者在浪潮中掙扎。多位中國AI創業者告訴《財經十一人》，他們目前最關注的AI議題，是商業模式、變現能力。
肯尼斯和喬爾已經走過為錢掙扎的階段，他們給出了完全不同的回答。肯尼斯最擔心的是，AI會讓人遠離人性——機器越來越有趣，以至於人會花更多時間與機器交流，而非與人交往。長此以往，社會紐帶將會斷裂，政府將會瓦解。而他最初對人工智能產生興趣的原因，恰恰是他想通過了解「智能」來了解人性。
喬爾則關心機器學習如何為個人、社會的開放式成長做出積極貢獻。他說，現在的機器學習以一種非常狹隘的方式對待人類，將滿足偏好視為促進人類繁榮的唯一途徑，這催生了信息繭房，增加人與人的隔閡。人類是豐富而複雜的。「我們可能對某些事物上癮，可能會做違背自身利益的事情；我們擁有意志力，但有時經過掙扎之後，我們才會做自己真正想做的事。」今年2月，他發表論文《機器之愛（Machine Love）》，探索機器從更豐富、複雜的維度去「愛」人的可能性。
他們使用AI工具輔助工作，但在一些事情上拒絕AI參與。肯尼斯和孩子一起玩時，即便不藉助任何電子設備，也能很開心；喬爾很少在寫作中使用ChatGPT，因為他「不想自動化真正關心的事情」。
創新是他們關心的另一件事。2015年，兩人合著的《為什麼偉大不能被計劃》出版。他們在書中記錄多年AI研究過程中的發現：設定目標，有時會成為阻礙；遵循好奇心的指引，反而能夠解決問題、實現創新。該書中文版於今年出版，引發不少中國科技、教育從業者的討論。
今年5月、6月，《財經十一人》分別與肯尼斯、喬爾進行了一次書面交流、一次視頻交流。最關注的AI議題之外，他們還談到OpenAI的工作體驗，美國AI行業的創投環境，以及Transformer的缺陷、AGI（通用人工智能）的到來等技術問題。
以下是肯尼斯、喬爾和《財經十一人》的對話。對話經過整理、刪減：
*美國投資界的優勢在於多樣性
財經十一人：在OpenAI工作是什麼體驗？
肯尼斯：很興奮，我們能夠體驗全新的技術。我在學術、商業實驗室都工作過，OpenAI和其他研究機構的明顯差異是：其他機構有不同的研究小組，小組成員們制定自己的議程，在各自的領域發表論文；OpenAI也有小組，但不同的小組目標一致：我們共有一個使命，並一起朝着這個使命前進。
喬爾：OpenAI是一個令人興奮的、快速發展的、務實的、嚴謹的公司。員工可以提前試用模型，讓人感覺生活在未來。另外，OpenAI有充足的算力資源，我供職過的其他研究機構都沒有這個條件。我們擁有同一種願景，而這個願景與其他AI機構或者多數人當時的想法都不同——OpenAI相信規模化，相信使用更多的數據和算力，就能增強模型的能力。
財經十一人：ChatGPT發布後，你的工作、生活發生了什麼變化？
肯尼斯：我的郵箱突然接到了大量的諮詢請求，好像全世界都對這個領域感興趣，甚至是恐懼——他們擔心自己被落下，因此尋找權威人士，詢問這一切是什麼意思。還有很多投資人聯繫我，想找到下一個風口。ChatGPT的成功讓他們認為，任何與人工智能、與OpenAI有關的人，都可能在做重要的事情。
關於GPT，在某種程度上，它令人害怕，因為它相當準確地捕捉到了人類認知的某些方面。這不僅是科學上的進步，還具有哲學上的重要意義，因為這些認知是將人類與宇宙中的其他一切區分開來的東西，而它們開始在機器中運轉。
喬爾：很多獵頭聯繫我，包括來自中國的。另外，OpenAI如此頻繁地出現在新聞中，以至於我的父母第一次如此了解我所在的公司。這種感覺很神奇。
財經十一人：為什麼在2022年下半年、ChatGPT發布前幾個月離開OpenAI？
喬爾：我沒有預料到ChatGPT會產生如此巨大的影響。OpenAI是一個很棒的做研究的地方，但它的研究總是往一個特定的方向推動；而我和肯尼斯作為研究者，希望參與更基礎、更開放的（不限定方向的）探索性研究。正好那時，我們都有其他合適的工作機會，所以我們離開了。
財經十一人：有觀點認為，中國的投資機構過於重視被投公司的商業模式與盈利能力，不像OpenAI的投資方那樣願意冒險，所以扼制了創新，導致中國沒有做出OpenAI和ChatGPT。你怎麼看？
肯尼斯：將OpenAI的融資過程解讀為「投資人不應該關心錢」，是錯誤的。OpenAI的創始團隊是世界一流的人才，所以投資人才願意把賭注放在這裡。
財經十一人：美國AI行業的創投環境是什麼樣的？
肯尼斯：在美國，有足夠多的投資人注重理念和願景、願意冒險，也有人只看利潤。同一個人的想法也會改變，例如，我投資了一個目標不明確的公司，失敗、賠錢了，那麼下一次我就會更關心商業模式和利潤。我認為，美國投資界的優勢，就在於觀點的多樣性。這是一個健康的環境。
我對中國的投資界沒有深入了解，但多樣性對任何地方都是有益的。硅谷的風險投資產業已經非常成熟，而在中國風投這樣相對不成熟的環境裡——我沒有貶低的意思，因為幾乎沒有什麼地方會像硅谷那樣成熟——我可以想象大家非常關注利潤和商業化。這樣也能投出好公司，但它們不會像OpenAI那樣具有革命性。
另外，決定投資方向的不僅僅是投資人，還有他們背後的各類機構、基金等。提供科學研究資金的國家機構應該不怕虧損，因為科學研究總是充滿風險的；如果沒有任何虧損，那意味着他們實際上沒有在做研究。但我發現，這些機構反而更保守。這有點諷刺，他們會問：「研究目標是什麼？」然後評估目標的可行性，再決定是否給錢。反倒是市場化的投資人會有不同的觀點。他們把投資視為一個組合，不在意個別的失敗，總體的上漲能夠彌補下跌就行。他們有時更願意說：「我不知道這有什麼意義，但它聽起來很酷，我要投。」
*Transformer有缺陷，AGI還很遙遠
財經十一人：Transformer之後，會有新的架構出現嗎？（註：Transformer是Google 在2017 年提出的一種自然語言處理模型，也是今天AI大模型的基礎架構。）
肯尼斯：我不相信Transformer就是我們到達的最終架構，這種觀點從研究角度看，似乎過於樂觀了。但我不能排除這種可能性。也許可以不改變架構，只改變訓練方法、提示詞（prompt）的長度等其他方面。
提示詞中的文本是有順序的，神經網絡確實看到了這個順序，只是目前能輸入的提示詞太短了，所以Transformer無法按照時間順序學習。也許將來會有一些突破，讓提示詞能夠長到囊括整個人類歷史，然後模型就可以在提示詞中學習。這是一個非常奇怪的想法，但如果可以實現，也許架構將保持不變。
另一個因素是硬件，科學家們會想到非常有趣的新架構，但當前的硬件可能無法承載，這就限制了我們嘗試某些方案的空間。
喬爾：Transformer確實非常驚人，可以完成許多任務，但從歷史經驗看，會出現超越它的方法。
目前Transformer的一個基本缺陷是沒有「循環（recurrence）」能力。面對問題時，人類會回顧經驗進行學習，過去的某個心理狀態能夠無限次地反覆再現，因此你想反思某件事情多久，就可以反思多久。Transformer也擁有對過去的顯式記憶，但這種記憶僅持續特定數量的token（註：AI處理文本的數據單位）。這種範式非常強大，足以使模型具備從輸入的上下文信息中學習的能力。但它仍不能像人類那樣，將記憶永久保存下來。
我想強調，我並不是說機器學習模型必須像人類大腦一樣運作，但目前的研究主流路徑是這樣。
財經十一人：有人認為，大模型並不具備像人類一樣的思考能力，它只是看起來在思考。
喬爾：這個觀點很有趣，但從技術角度看，我不認同。Transformer在沒有幫助的情況下進行算術運算的能力非常不像人類，它會犯很基礎的錯誤；但是當你與它交流那些它似乎沒接觸過的複雜話題（比如試圖將22種奇特的哲學思想結合在一起），它可以給出相當令人印象深刻的回應。因此，我認為實際情況可能處於中間位置。
財經十一人：如何定義AGI（通用人工智能）？Sam Altman（OpenAI創始人）在中國的演講中提到，十年內會有非常強大的人工智能系統出現，我們需要從現在開始做應對的準備，你怎麼看？
肯尼斯: 我不太關心 AGI 的精確定義。等我們看到它時，自然會知道。我感覺AGI這個詞分散了我們的注意力。真正的問題不在於是否到達AGI，而在於，我們在十年內取得的成果，是否會對社會產生重大影響；如果是的話，那麼無論它被稱為AGI還是其他名字，我們都要做好準備。
喬爾：我認同。科學發展進程總是非線性的，我不知道AGI什麼時候會到來，可能很快，也可能很慢。AI很快就會在一些任務上超越人類，某些方面的AGI可能很快就會到來。
這會帶來兩個問題。「智能」是定義人類的基礎，當一個比人類還聰明的東西出現時，人類就處於危險之中。另一件有點恐怖的事情是，很多人從工作中獲取意義，當AI將工作自動化，我們就需要將人生意義從工作轉向尋找愉悅、做自己喜歡的事。這很好，但轉變過程會非常艱難。目前的證據顯示，在美國，人們即使有社會保障，也會因失業沮喪，甚至會濫用藥物。面對這種可能的未來，我們還沒有做好準備。
財經十一人：AGI什麼時候會實現？
肯尼斯：關於這個問題，有很多不同觀點。但現實是，沒人能知道。智能領域還存在一些尚無明確解法的缺口。
現在比較主流的通往AGI的方法是，基於Transformer，繼續增加數據和算力。因為過去這種規模化方法很好地填補了先前模型的漏洞，例如從GPT-2到GPT-3、再到GPT-4的升級。基於此，一些人認為我們正處於AGI的臨界點——只需要進一步規模化，就能解決問題。
但有些東西是無法通過規模化改善的，比如創新性。目前的模型無法像人類發明搖滾樂那樣，發明一種新的範式。這是一個嚴重的不足，因為文明的本質就是創新。
存在這個缺陷的原因是，Transformer是通過數據學習，而「創新性」之類的東西並不在數據里。目前，被輸入模型的數據不是按時間順序從頭到尾排列的，而是一整個單獨的數據塊。這導致模型缺少時間概念，而創新是與時間順序密切相關的。
我們人類始終身處某個特定的時間點，這個點之前發生了什麼、還沒有發生什麼都是默認的，所以我們能知道什麼是新的、前沿的；但模型無法判斷時間點，它將所有這些東西都視為一團巨大的混合體：它會看到關於汽車的數據，關於太空飛船的數據，關於大型語言模型的數據，但它們都是同時存在的，沒有先後之分。因此，模型無法判斷什麼是前沿的。
另一個例子是幻覺問題（註：「幻覺」即AI生成的虛假或錯誤信息），即語言模型怎麼知道自己知道什麼、不知道什麼？「知道自己記得什麼」不是一個語言過程。如果我問你，你三周前吃了什麼？你會說不記得了。但你怎麼知道自己不記得？這個過程無法用言語表達，你不能說，我檢查了這個，然後檢查了那個，所以我知道我不記得了。這更像是一種隱含的、與生俱來的過程，並不涉及語言；如果沒有語言，它就不存在於數據中，模型也就無法從數據中獲得這個概念。
現在，由於RLHF（Reinforcement Learning from Human Feedback，從人類反饋中進行強化學習，即由人類來訓練模型，模型做得好就獎勵，做得不好就懲罰）的運用，這些不足也許可以修正。但我認為，只有在模型真正理解它應該知道什麼、不應該知道什麼的情況下，這種方法才能有效；而只有這些知識隱含在數據中時，它才能真正理解。但目前看來，數據中似乎不存在這類知識。例如，要讓模型學會誠實，我們可以在它不誠實時懲罰它，然後它會變得誠實。但這並不意味着它理解了誠實的重要性。
這些問題很難通過規模化來解決，有解決辦法，但需要更多的複雜性，需要新的洞察和技術突破，不會輕易實現。所以AGI仍然很遙遠。
*愛，滅亡和人工智能
財經十一人：如今，很多業界人士在警告AI的威脅，強調對AI進行控制和監管。而你研究的AI開放性，是讓AI在沒有目標的情況下，產生更多新的、讓人意想不到的結果，是關於放鬆控制的。如何看待其中的矛盾？
肯尼斯：好問題。AI作為一門科學，本身就是在尋求進一步的發現和創新。我們應該接受對開放性的研究，依靠它找到平衡——既允許持續發現，又受到足夠的限制。
喬爾：對開放性的研究在一定程度上很重要，因為它使我們能夠科學地解決貫穿整個技術史的問題：我們如何從開放性過程中獲得最大收益，同時降低風險？同樣的開放式科學過程為我們提供了治癒疾病的疫苗和環球飛行的飛機，也為我們提供了核武器。創造力和控制力之間的張力很深，需要大量思考和研究。
財經十一人：你現在已經是AI-native的生活狀態了嗎？
肯尼斯：不是。我確實在工作中使用AI，但生活中很多事情，比如和我的孩子一起玩，即使沒有任何電子設備，也會很棒。我適度使用AI，生活就是生活。
喬爾：我用 ChatGPT（帶有 GPT-4）理解新的知識領域，用 Copilot寫代碼。
但是到目前為止，我還沒有在寫作中使用ChatGPT（比如我沒有用它來回答你的這些問題）。部分原因是它還沒有融入我的工作流程。比如，我會用特定的文本編輯器，把GPT集成進去很麻煩。而且，我喜歡寫作的藝術性質。也許在未來，它會變得足夠容易，能夠融入工作流程；但我也有些牴觸，因為有時候，你不想自動化你真正關心的事情。
財經十一人：當下，你最關心的一個關於AI的議題是什麼？
肯尼斯：我擔心我們與人性越來越疏遠。我8歲時對AI產生興趣。它最吸引我的一點是，它能讓我更好地理解人，與人產生更緊密的聯繫。這可能很難理解，畢竟我們這些人看起來只是成天和機器打交道，對人類沒有興趣。但理解「智能」的過程，其實就是在理解人性的本質。心理學也在理解智能，可它只研究運作原理，不研究構建方法；而我一直覺得，如果我不能構建某樣東西，我就無法真正理解它。
用機器取代人的情況令我困惑。這就是我所說的與人性的疏遠——機器變得足夠豐富和有趣，以至於你會抽出時間與機器交往，而不是與人交往。我們看到的圖像、聽到的音樂、讀到的故事，曾經是人類豐富想象力的產物，如今卻越來越多地被機器生產。
我受到震動的具體時刻，是第一次看到DELL-E（註：OpenAI的圖像生成產品）時。突然間，我意識到藝術可以不是自我表達，它只是藝術。而我一直認為，藝術的可愛之處在於呈現人性。那時，我的孩子大約7歲。他喜歡畫畫，而這個機器生產的畫作質量遠超他。這讓我對未來非常困惑——這個冰冷的東西沒有真正的體驗，卻會使人們無法欣賞我孩子的自我表達。我不喜歡那樣的世界。
像DELL-E這樣的技術也可以幫助人類自我表達，但如果走向錯誤的方向，我們將沉溺於沒有人性的東西，停止與人類互動，那時，社會紐帶會破裂，政府也會瓦解。擺在我們面前的一個巨大挑戰是：如何讓人工智能支持有意義的人際聯繫，而非鼓勵隔離與孤獨。
喬爾：目前我最關心語言模型部署到世界的速度。我擔心制度（如法律、教育、經濟、新聞媒體和政治制度）更新緩慢，適應速度跟不上語言模型的發展速度。
在美國，社交媒體、推薦引擎等系統占用人們大量時間精力。這些系統擁有將我們聯繫起來的能力，但它們往往只追求用戶參與度、停留時長，而非幫助我們改善生活。
似乎我們的所有制度都在這種方式下變成賭博。比如，在美國，為了贏得選舉，一些政治候選人不再進行誠實的辯論，而是針對受眾心理特點創建廣告，激起他們對其他政黨的仇恨。機器學習以許多不同的方式參與其中，像是個性化推薦與信息繭房。這也是我將研究方向轉到機器學習、哲學交叉領域的主要原因之一。我希望我們能以更有益的方式使用機器學習。
財經十一人：有辦法避免這些情況進一步惡化嗎？
肯尼斯：一種方法是，鼓勵開發增強人類能力的AI工具——將人隨口唱的曲子製作成完整作品，促進高質量的人際互動，諸如此類。但人類的本性難以控制。如果與AI交流很愉快，人們就會這樣做。這有點像吃糖，甜味讓人愉快，但你必須努力控制，不能過度。
我們也需要國際合作，來建立審查與法律框架，還要確定具體責任人。這也很難，涉及經濟問題與國際競爭——如果能夠實現AI的獨立發展，一個國家可以徹底改革全球經濟，獲得巨大優勢。因此，不合作是非常有誘惑力的。
財經十一人：很多中國AI創業者為商業模式、融資苦惱，他們想聚集資源，做出中國的OpenAI。你不關心錢的問題嗎？
肯尼斯：如果我在一個急需錢的創業時期，我也會重視融資；但我似乎已經過了這個階段——我現在認為，只要我做正確的事情，就能拿到融資。所以我更關注前景，擔心沒有證據來支持我的想法，而不是錢。
我個人覺得，「成為下一個OpenAI」 不是一條明智的道路，因為通常，你無法再次成為同樣的事物。這個事物之所以出色，就是因為它是第一個這麼做的、獨一無二的。現在，對話機器人領域的競爭非常激烈，而我並不認為自己出色到能贏，所以，我更傾向於思考，有什麼與OpenAI完全不同的新東西？
喬爾：我喜歡錢。我很幸運，曾在薪酬豐厚的實驗室里工作。但現在，更多的錢並不能讓我感覺生活更有意義。
財經十一人：美國公眾在關心哪些關於AI的問題？
肯尼斯：有各種各樣的擔憂，有人關注長期風險，比如人類的滅絕威脅；有人關注短期，比如就業問題。還有人同時擔心所有問題。有人對其他人感到憤怒，認為後者關心的不重要的問題吸引了大量關注，讓人們無法聚焦到真正重要的事情上。目前缺乏共識。我認為人們正在整理思緒，確定哪些是當下最重要的、值得我們花費大量時間精力應對的問題。
財經十一人：論文《機器之愛》的主要內容是什麼？
喬爾：「人工智能」是將我們對「智能」的理解植入機器，試圖理解智能的本質；「人工生命」是將「生命」進行抽象，並在計算機中模擬生物進化。我嘗試將同樣的思路應用到「愛」，將「愛」這個概念進行抽象，使得機器能夠表現出「愛」。在實踐中，這意味着將機器學習的方法與研究愛的領域（如哲學、靈性、心理療法等）的方法結合。
機器學習的一個問題是，它以一種非常狹隘的方式對待人類，將滿足偏好視為促進人類繁榮的唯一方式。從這個視角看，社交媒體重視用戶參與時長，就變得可理解了：在機器學習的眼中，你是一個完全理性的個體，因此你在社交媒體上花更多的時間，就意味着它提供了有價值的東西。
但是，人類是豐富而複雜的。我們可能對某些事物上癮，可能會做違背自身利益的事情；我們擁有意志力，有時經過掙扎之後，我們才會做自己真正想做的事。
在這篇論文中，我採用更豐富的人類行為模型（類似於馬斯洛需求層次理論），試圖利用語言模型，讓機器尊重、促進人類的發展，而不僅僅是給予狹隘的滿足。
財經十一人：這聽起來與你如今最關心的AI議題緊密相關。你是在尋找解決問題的方法嗎？
喬爾：我不敢自稱有解決方案，但我希望找到一種積極的前進方式。我對人類、人類心理學，以及人類領域與機器領域如何能夠有效結合非常感興趣。技術是為了人類，為了我們的利益、我們的繁榮而存在的，但有時，我們很容易忘記這一點。-[文:鄭可書*編輯:劉以秦/財經十一人]
