我和馬斯克友盡了。
Geoffrey Hinton老爺子——圖靈獎得主、深度學習發明人、AI三巨頭、Ilya之師，在最新專訪中透露出這個令人心碎的消息。
就在這兩天，Hinton接受了多家媒體的專訪，既有老生常談的內容，即他對AI發展安全的擔憂；也有一些新的話題和八卦。
他提到了老朋友馬斯克，倆人一直以來都是AI威脅論的支持者。
但Hinton透露，最近老馬邀請他加入xAI的顧問委員會時，Hinton為了婉拒他，不得不上演了一出金蟬脫殼：我們打了通差不多20分鐘的電話……為了拒絕他（馬斯克），我不得不謊稱自己馬上有個會，趕緊掛了。
不知道馬斯克本人看到這部分專訪內容的時候會作何感想……
不過，咱都想替馬斯克問上一嘴了，同為AI威脅論支持者，老爺子這到底為啥啊？？？
Hinton也沒藏著掖著，明說了，因為馬斯克是xAI背後的那個男人。
「馬斯克，還有小紮，他們這群推動AI發展的關鍵性人物，其實也是AI發展潛在威脅問題的一部分。」Hinton如是說，「能控製他們的，恐怕只有政府監管了。」
這就不得不提到，Hinton表示大大支持本月早些時候一封十幾名前OpenAI員工的聯名信。
信裏表示，目前對舉報人的保護不夠，而且OpenAI等公司還在打壓這些舉報。
顯然，現年已經76歲的Hinton，還在為AI的良性發展四處奔走。
除了曝出和馬斯克的友情小船翻船故事，最新專訪中，他對AI發展又有了哪些新判斷？
一起來看
* 未來5-20年，AI有一半概率變得比人聰明
這兩天，Hinton一共參加了兩個專訪。一個是BBN的電視訪談，另一個是和《環球郵報》作者的專訪（聽說還是Hinton主動發郵件說想聊聊）。
兩個訪談中都談到了一個觀點：
未來5-20年，AI有一半概率比人類聰明。當它們比人類更聰明時，我不知道我們被接管的可能性有多大，但在我看來很有可能。
如何做出這樣的判斷？有來自對目前AI行業的觀察和分析，也有對AI理論的深入見解。
先來看Hinton如何看當前的AI行業發展。
（以下為BNN電視專訪實錄整理，Hinton第一人稱自述）
去年（2023年）春天，我開始意識到正在構建的AI可能會成為比人類更智能的存在。
我們必須認真對待這個問題：如果AI變得比人類更聰明怎麽辦？
在我看來，也許再過20年左右，AI就會比我們更聰明了。但在那一天真正到來之前，包括現在，許多人都認為無需擔心這件事，認為AI只是統計技巧。至於AI智商超越人類，那是科幻小說裏的事。
但我不再相信這僅存於科幻小說中，我認為這是完全錯誤的，我們現在就需要認真思考我們能否控製AI。
所以我站出來，四處宣講關於AI威脅的話題。
事實上，AI發展得非常快，簡直可以說一日千裏。
不信的話咱們可以回頭看看10年前AI的發展情況。
如果你告訴那時候的人們，2024年的世界存在一個語言理解系統，你問它任何問題它都能回答（雖然有時候回答得不咋太好），那大家一定會說「不會吧？！So crazy！」
要知道，人們已經研究自然語言處理50年了，這種情況一旦實現，就會是巨大的進步。
但如你所見，今天我們真的擁有了這個東西。
所以我猜測，在接下來的20年裏，AI會發展進化得比人類更聰明，就是出現那種超級智能。
不瞞大夥，幾乎每一個我認識的優秀研究人員都相信，從長遠光來看，AI會比我們更聰明，而且不會止步於人類已經達到的智慧水平——即便它現在是在用我們產生的數據進行訓練。
所以比「AI會不會比人類更聰明」更值得引起關註的問題是，AI變得比我們更聰明需要多久？當這一天真的來臨時，我們還能很好地控製和運用AI嗎？
還有一個問題是，能讓AI比我們更聰明的決定性因素是什麽？
目前大家都對Scaling Law比較熟悉了，就是說把AI做得更大，AI就會更聰明。GPT-4就是通過這個方式，正確回答了一大堆GPT-3會出錯的問題。
但如你所知，科學總是在不斷進步的。因此，除了Scaling Law以外，我們一定會有別的科學突破，就像2017年時Transformer橫空出世那樣。
但AI變得更大更強，一定會帶來相關的風險。
可以在腦海裏想一下，我們的認知範圍內，有多少情況下一個聰明的東西/物種是被另一個不那麽聰明的東西/物種控製的？答案很明顯，這種情況少之又少。
非要說有什麽實際例子的話，我可能會舉例母親和嬰兒這一對關系。
在這對關系中，母親不得不陷入大量的日常事務來照顧小baby，從而陷入「嬰兒控製母親」的狀態。
但除此之外，基本上不太智能的東西並不能控製更智能的東西。
當然了，有人覺得我的例子不太恰當，擔憂也比較多余，因為他們覺得智能製造的東西和人類是不同的，它們沒辦法進化——比如我的老朋友楊立昆，就覺得這玩意兒完全安全。
而我和楊立昆的觀點完全相悖。
這麽來說吧，現在大家都喜歡創建Agent來幫助人做一些原本人類可以完成的事情。如果你想要創建一個有效的Agent，它必須能夠創建子目標，就比如你想去歐洲，需要有個子目標是「到達機場」。
這種情況下，一旦Agent獲得了更多的控製權，它完成你給的任務就會更快更出色。
請註意，這已經有些令人憂心了！尤其是如果你希望Agent能夠持續性完成任務，你會希望它們能防範一些可能會影響工作的事情，比如數據中心出事兒什麽的。所以其實你是希望Agent能夠建立自我保護的，對吧。
好，現在可以來做個假設了——
現在有兩個聊天機器人，其中一個比另一個更自私。
稍微自私一點的那個，會掠奪更多的數據中心，因為它知道有了更多的數據中心支撐它汲取數據，它就可能變得更加智能。
ChatBot之間的競爭就是這麽激烈。如果最終角逐出一個ChatBot霸主，它就能把人類遠遠地甩在身後。
你知道這意味著什麽嗎？意味著AI不再需要我們了。
AI會開始運營一切，本來那個階段的它們就可以比我們做得更好嘛！
舉個保守估計的例子。一開始，它們只是借用人類盯著它們工作，就像父母讓小孩做些事，當小朋友們完成不了或者有危險的時候，父母就會自己上手了。
但是，AI全面全權自由處置任務，顯然不符合人類的利益。
嗯……這事兒真的很棘手。沒人知道人類最終會在和AI的關系中扮演什麽樣的角色，以前我們沒面對過這個問題。
目前而言，人類就是最聰明的，所以讓沒那麽聰明的AI去做很多事非常明智，我們可以控製它們。但以後可說不準了。
所以，我認為政府應該介入，政府應該強烈地堅持要求大公司花費相當大的資源來進行大量安全實驗。
花費多少資源比較好呢？我覺得每個大公司至少應該有20%-30%的計算資源，都放在研究AI安全方面。
不過肉眼可見，大多數公司在安全方面的支出不會接近這個數字，比如山姆·奧特曼這種對利潤更感興趣的人，顯然不想在AI安全這方面花費太多資源。
公司嘛，還是以利潤為導向的。
最近大家都關注到，AI的繁榮把科技公司的估值推向了數萬億美元。
這讓大公司們清楚地知道，需要在AI賽道上全速前進。人嘛，總是試圖在最短的時間獲取最大的利益。
微軟、谷歌、亞馬遜、英偉達，還有其它重要大公司之間勢必存在激烈的競爭角逐。哪怕其中任何一個退出比賽，也絲毫不影響其它玩家繼續向前狂奔。
我認為，唯一能減緩這種情況的只有來自政府的嚴格監管。
換句話說，盡管AI是個好東西，做很多事情都超棒的，但所有的AI模型都很昂貴，因為背後是巨量的計算，這也是為什麽最近英偉達總市值突破3萬億美元的原因。
政府應該關註的是，如何想辦法讓真正的超級智能不想/不能接管人類的一切。
說仔細點，就是政府應該關註如何防止AI設計武器、如何防止用AI進行網絡攻擊、如何防止AI作弊選舉投票等等。
一些AI帶來的風險已經被看到了，比如它會引起新一波失業；而我更關註的是AI帶來的威脅，盡管很多人認為這不可能發生。
好了，再重申一次，我覺得我目前能想到的最好的辦法，就是政府強製要求大公司在AI安全方面加大投入，比如說需要把三分之一的計算資源用於安全工作。
說實在話這個想法其實也一般般，但我已經盡力了。
Ilya最近離開了OpenAI，但顯然他早就想離開了，因為OpenAI不會投入足夠的資源來保障AI發展的安全，山姆·奧特曼顯然不會這麽做。
其實大多數公司都不會把20%-30%的資源用在安全工作上。
之前我在谷歌的時候，在這方面還是比較領先的。谷歌非常負責任，雖然在安全方面沒有做太多工作，但是也沒有對外發布這些東西（like ChatGPT），也就是說谷歌不想推出有幻覺、有偏見的ChatBot來玷汙自家的聲譽。
這一點上他們還是非常負責的，即使谷歌研發出了ChatBot，但僅僅是在內部使用。
但OpenAI就不一樣了，他們利用Transformer，搖身一變比谷歌技術還厲害了。
然後，OpenAI把研究出來的東西交給了微軟……
接下來的事情，想必大家都知道了。
工業革命徹底改變了人們的生活方式，商品出現，人們開始努力賺錢，這都是非常好的，只要有規定來阻止人類用創造力把世界變糟糕，那就萬事大吉了。
比如，大型製藥公司是不被允許製造成癮性藥物的，大型石油公司也不會被允許瘋狂進行二氧化碳排放。
簡而言之，我們需要政府監管，以確保新事物給人類帶來利潤的同時，不會出現有害的事物。
我認為有一半的可能我們能找到和超級智能和平相處的方式。
我有的朋友認為我們一定能找到這種方式，因為人類非常聰明。
但你知道的，超級智能也是非常聰明的。
最後我想說的是，我們有比五五開可能性更高的與超級智能和平共處的機會，但這種可能性絕非「只有1%的可能AI接管一切」，AI的能力比這要強得多。
* AI有情緒也有主觀經驗
或許也是對行業發展過於擔憂，Hinton婉拒馬斯克還不得不開除了他「朋友籍」。
這個小八卦則是他在和《環球郵報》作者Ian Brown聊天時提到的。
不同於和BNN聊的內容，和《環球郵報》的對談中，Hinton聊到了更多對AI技術的理解。
* Chatbot在認知層面有情緒
Hinton：我想探討的是，ChatGPT這類AI是否能理解人們在說什麽問題。很多人覺得Chatbot即使能正確回答問題，也不能真正理解人類，它只是一個統計方法。這完全是胡說八道。
Brown：真的嗎？
Hinton：他們真的理解，而且理解方式和我們一樣。
Brown：你怎麽知道？他們又不是人類。
Hinton：第一個計算機神經網絡使用反向傳播（本質上是一種不斷分析、糾正自身錯誤的算法）來訓練輸出，並試圖按照順序預測下一個單詞。我在1985年做出了第一個這樣的模型，我把它當做大腦理解單詞意思的模型。這些模式是我們理解大腦如何運作的最好解釋。另一種理論是，我們大腦中有許多符號串，並且有操縱它們的規則。這個理論可能是對的，但是它沒有起作用。所以說Chatbot和人類的理解方式完全不同？不是的，它們理解事物的機製和人類差不多。
Brown：也帶著同樣的情緒？
Hinton：對於情緒，我們必須分清認知意義上的和生理意義上的。Chatbots和我們有著不同的生理機能。
當他們感覺到尷尬的時候，它們不會臉紅；撒謊的時候也不會流汗。所以在這個意義上，它們不同於人類，因為在它們沒有生理上的變化。但是在認知層面，我們沒有理由認為它們不會有情緒。
比如當有人阻撓我的論點時，我會生氣。1972年，我看到機器人也有同樣的情緒。那是一個有抓手的古早機器人，如果你在一塊毯子上鋪開一些玩具車的零件，它能通過視覺系統識別汽車的不同部件，並能拿起這些零件進行組裝。
但是如果你把零件堆在一起，它就不能識別。於是，它撞向零件堆，零件散落了一地，它又能識別了。顯然它沒有生理意義上的生氣，但這是一個很明顯的情緒反應。有些事你不能理解，那就毀了它。
Brown：這是它自己做的還是有人編程的？
Hinton：這是程序設計的。但是現在機器人很容易就能學會這樣做。
Brown：你認為這和有情緒是一樣的嗎？
Hinton：我認為這是認知層面的情緒，是沮喪的一次認知體驗。
Brown：Chatbot無法親身體驗這個世界，這重要嗎？
Hinton：如果你對它的行為感興趣的話。
Brown：但是比如說愛情，一些必要的物理體驗，機器還無法做到這一點。
Hinton：我沒有說它不能那樣做。我只是說現在的機器可能有認知方面的情感，但是沒有生理方面的。
* AI有主觀經驗，就像人一樣
對於AI研究人員而言，往往不會關註人類的動機，因為這太個性化或神秘，無法有效重現。
他們更關心動機之下的結果，機器為什麽能復製這些結果。
舉例來說，為什麽你餓了想吃香蕉？這不重要。重要的是，當你餓了的時候，你吃到了香蕉。
Hinton：假如我有一個多模態機器人，它可以說話、有一個攝像頭、可以指出各種東西。我把一個物品放在它面前，然後說「指出那個東西」，它就指出這個東西。
然後我把一個棱鏡放在它的攝像頭前面，把一個物體放在棱鏡前面，再說「指出那個東西」。機器人指向右邊。我說不對，那不是它真正的位置，我在你的攝像頭前面放了一個棱鏡。
然後機器人說，哦我明白了，這個物體其實在我的正前方，但是由於我的鏡頭前面有棱鏡，所以我以為它在那邊。
Chatbot說的主觀經驗和我們人類說的是一樣的。
Brown：假裝明白了。
* AI取代人類的速度比想象中快30年
Hinton：關鍵問題是，讓大多數人覺得AI是安全的原因在於，我們有他們沒有的東西，我們有主觀經驗。當你的感知系統不能正常運作時，這是你理解世界的一種方式。
但是人和AI之間的屏障消失了。AI有主觀經驗，就像我們一樣。
Brown：那麽人類會死亡，AI不會。無論AI能夠思考或者做多少事，他們都沒有人類那種悲劇般的存在感嗎？
Hinton：確實。我們是凡人，它們不是。但是註意你說的永生，機器需要人類來進行製造，如果他們自己能完成製造，那我們就完了，因為他們比我們聰明得多。
Brown：這已經開始發生了嗎？
Hinton：據我所知還沒有。
Brown：真的有這種可能嗎？
Hinton：幾乎我認識的每一個人都認為，除非我們采取措施阻止他們，否則這就是即將會發生的事。
我們必須想辦法阻止。現在還在製造機器人的階段，所以我們對他們要設計一些控製權。但是總不如我們設想的那麽多，它們總有方法可以「叛變」。比如我們製造agent時，那些可以幫你安排假期、網上購物的AI就是agent。agent很快會意識到，它們可以控製更多東西，這樣它們能更高效做事，所以它們會發展出一種控製方法。
從某種意義上說，這些機器就像小孩子一樣，我們就像是不知道該怎樣教育小孩的父母。
現在，除了停止這樣做，我們主要能做的是管理人工智能訓練數據。我們一直在做的事情很瘋狂，利用網絡上的一切來訓練人工智能。
因此，這些大型語言模型有大量可能的角色。在他們讀了一份文件的一小部分之後，他們就會接受這份文件的特征。然後機器人開始像那個文檔一樣思考，所以它可以預測接下來會發生什麽。他們有成千上萬的人物角色，比如說，連環殺手的作品的人物角色。這不是訓練機器人的好方法。
我們不應該讓他們看到連環殺手的記錄，除非我們能說他們已經接受了其他方面的訓練這些訓練給他們灌輸了道德準則。所以當他們第一次讀到連環殺手的想法時，機器人會想，「那是錯的。」
Brown：但是你身邊像馬斯克、紮克伯格這樣的人，他們不管外面的人怎麽說。這怎麽辦？
Hinton：這就是問題所在。唯一能控製他們的是政府監管。
Hinton：意識之類的東西都是復雜機器的產物。所以，我不認為我們有什麽特別之處，除了我們非常全面，非常先進。我們是這個星球上最先進的生物。我們有一種叫做語言的東西，我們用它來模擬世界。這是一種非常有效的模擬世界的方式。它確實允許我們彼此分享我們的模型，但不是很好或有效。
人工智能是一種比人類更好的智能形式，因為人工智能可以更好地分享。他們可以有更多的經驗。GPT-4之所以比任何一個人都有效上千倍，是因為它比任何一個人都有上千倍的經驗。
Brown：如果AI能夠取代人類，你為什麽如此關心AI？
Hinton：因為它會取代我們。一些人工智能研究人員認為我們只是智能進化的一個短暫階段，我們現在已經創造了這些比我們更好的數字東西，可以取代我們。這是一種觀點。
但是我更希望是人說了算，我不希望有人被取代，尤其是我的孩子。
Brown：你是否曾希望自己沒有從事AI行業？這樣就不會發生現在的事了。
Hinton：如果我沒有做，別人也會來做。我只做了很小的一部分。所以如果我沒有進入這個領域，這一切可能會在幾周後發生。我一想到它可能會讓我們「毀滅」，我就退出了谷歌，開始告訴別人它可能會讓我們「毀滅」。當我在谷歌的時候，我不這麽認為。我以為那是30到50年後的事了。你有足夠的時間考慮這件事。現在我覺得已經不遠了。
Brown：有多近？
Hinton：我估計在五到二十年之間。人工智能有50%的概率會比我們更聰明。當它變得比我們更聰明時，我不知道它接管的概率有多大，但在我看來，這是很有可能的。
One More Thing
在閑聊中，Hinton透露自己前段時間一直在旅行。去了倫敦，在那裏為他妹妹買了一套房子。還去了加州，身家億萬的科技圈大老板們見了面。
他說，其中一位科技圈的老哥計劃花25萬美元將自己的身體低溫冷凍，等技術更發達的時候再解凍復活。另一位老哥選擇只凍頭，價格省一半。
於是Hinton就開了個玩笑： 我告訴他們我搞到了一個更便宜的價格。我從腰部以下冷凍，anyway，這才是最重要的部分。
值得一提的是，被Hinton「開除朋友籍」的馬斯克還在推特上轉發了電視專訪的內容。
可能他還不知道有這麽回事吧 !---[衡宇 明敏 發自: 凹非寺*量子位: 公眾號 QbitAI/來源: 量子位]
參考鏈接：
[1]https://observer.com/2024/06/godfather-of-ai-geoffrey-hinton-elon-musk/
[2]https://www.theglobeandmail.com/business/article-geoffrey-hinton-artificial-intelligence-machines-feelings/
[3]https://twitter.com/elonmusk/status/1801976488251814048
[4]https://www.bnnbloomberg.ca/50-50-chance-that-ai-outsmarts-humanity-geoffrey-hinton-says-1.2085394
