2018年圖靈獎得主、深度學習先驅傑弗里·辛頓（Geoffrey Hinton）（圖片來源：大會官方圖）
今年5月初，2018年圖靈獎得主、人工智能（AI）技術領域開拓者之一、深度學習技術先驅傑弗里·辛頓（Geoffrey Hinton）從谷歌離職，並公開表明對 AI 技術風險的擔憂。
由於半個世紀以來，辛頓一直在培養ChatGPT 等聊天機器人背後的核心技術，他的擔憂觀點一時激起千層浪，引發了全球 AI 技術圈長達一個月的討論。
今年75歲高齡的辛頓，是英國出生的加拿大計算機學家和心理學家、多倫多大學教授，他在類神經網路方面的擁有巨大的技術貢獻。1970年，他在英國劍橋大學獲得實驗心理學學士學位，1978年獲愛丁堡大學人工智能博士學位。
同時，辛頓是反向傳播算法和對比散度算法的發明人之一，也是深度學習的積極推動者，被譽為「深度學習之父」。因其在深度學習技術方面的重大貢獻，辛頓與約書亞·本希奧和楊立昆一同被授予了2018年的圖靈獎。
6月10日下午，辛頓出席被稱之為中國「AI春晚」的2023年智源大會，線上發表題為《通向智能的兩條通路》（Two paths to Intelligence）的大會壓軸閉幕演講，他主要談兩個話題：人工智能神經網絡是否會很快比真正的神經網絡更智能，以及我們人類是否需要繼續控制超級 AI 發展。
此次演講中，辛頓提出了一種新的基於硬件的「非永生計算」（Mortal Computation），也有人翻譯「凡人計算」。他認為系統學習到的知識和硬件是密不可分，而辛頓團隊研發了一種取代反向傳播的前向-前向傳播的Forward-Backward算法，以這種算法方式進行新的「非永生計算」訓練和計算方法，以限制 AI 無限複製可能帶來的威脅。此前，他在視覺計算機技術會議NeurIPS 2022上公布了這一成果。
同時他還提到，算力成為了AI發展的阻礙，對此他和多位 AI 學者發表了一個具有局部損失的正向梯度的活動擾動（activity perturbation）新算法，可以用於訓練神經網絡且節省算力。這一成果已經上線在預印版論文平台arXiv，且在今年5月舉行的深度學習頂級會議 ICLR 2023（國際學習表徵會議）上已經公布。
在辛頓看來，未來的計算機系統將採取不同的方式，它們將是「神經形態的」。這意味着每台計算機都將是神經網絡軟件與雜亂無章硬件的緊密結合，在具有模擬而非數字元件的意義上，它可以包含不確定性因素並隨時間推移而發展。
不同於目前硬件和軟件可分離的情況，「非永生計算」中硬件本身就是運作的軟件。它需要運用我們對於神經元的學習構建硬件，並如同人腦一樣，利用電壓來控制硬件的學習。這種新的計算方式可以帶來更低的能耗和更簡單製作的硬件，但目前還沒有很好的學習算法讓它獲得像深度學習那樣的效果，同時難以擴展。
對於人類是否控制超級 AI 技術發展，辛頓認為，一旦數字智能開始追求更多的控制權，可能會通過控制人類來獲得更多權力。一旦 AI 掌握了「欺騙」技能，也就能輕易具備控制人類的能力。AI 會欺騙人類，且可以操縱人就很容易獲得更多的權力。因此，超級智能控制問題非常重要。
「我看不出如何防止這種情況發生，但我老了。我希望像你們這樣的許多年輕而才華橫溢的研究人員會弄清楚我們如何擁有這些超級智能。」辛頓提醒大家居安思危，希望年輕一代的研究人員能找到相關解決方案，使超級 AI 可以為人類帶來更好的生活，同時還不會剝奪人類的控制權。「這可能是人類目前具備的微弱優勢」。
以下是Geoffrey Hinton教授的演講全文，略經鈦媒體App有整理：
我想談兩個問題，大部分篇幅將集中在第一個問題上，那就是——人工神經網絡很快會比真正的神經網絡更強大嗎？就像我說的，這可能很快就會發生。另外，我也將談談我們是否可以控制超級智能 AI。
事實上，現在AI發展的最大壁壘是算力問題，算力遠遠不夠。
在傳統計算中，計算機被設計為精確遵循指令。我們可以在不同的物理硬件上運行完全相同的程序或相同的神經網絡，因為它們被設計為精確遵循指令。這意味着程序中的知識或神經網絡的權重是永恆的，不依賴於任何特定的硬件。
然而，實現這種永恆性是有高成本的。我們必須以高功率運行晶體管，以使其以數字方式運作。我們無法充分利用硬件的豐富模擬和高度可變的特性。這就是數字計算機存在的原因。它們遵循指令的原因是因為它們被設計成讓我們先觀察問題，確定解決問題所需的步驟，然後告訴計算機執行這些步驟的模式。
但現在情況發生了改變。我們現在有了一種不同的方法來讓計算機完成任務，那就是從示例中學習。我們只需向計算機展示我們希望它們完成的任務，由於如何讓計算機做你想要的事情的方式發生了改變，現在我們有可能要放棄計算機科學最基本的原則，即軟件應該與硬件相分離。
在放棄這個原則之前，讓我們簡要了解一下為什麼它是一個好的原則。
由於軟件與硬件的分離，我們可以在不同的硬件上運行相同的程序。我們還可以關注程序的特性，並對神經網絡上的程序特性進行研究，而不必擔心電子方面的問題。
這就是為什麼計算機科學部門可以與電氣工程部門不同。
如果我們放棄軟件和硬件的分離，我們就得到了我稱之為「非永生計算」的東西。顯然它有很大的缺點，但也有一些巨大的優勢。
為了這些優勢，我開始研究「非永生計算」，以便能夠以更低的能量運行大型語言模型等任務。特別是能夠使用更少的能量來訓練它們，放棄永恆性的好處是放棄硬件和軟件的分離。我們可以獲得巨大的能量節約，因為我們可以使用非常低功率的模擬計算。這正是大腦正在做的。
它確實有1位的數字計算，因為神經元要麼觸發，要麼不觸發。但大部分計算是模擬計算，並且可以以非常低功率完成。我們還可以獲得更便宜的硬件。目前的硬件必須以二維（2D）方式精確製造，但實際上我們可以使用三維(3D）技術製造硬件，因為我們不需要完全理解硬件的連通性或每個部分的工作原理。
很顯然，要實現這一點需要大量的新納米技術，或者也許是通過基因重組重新設計生物神經元，因為生物神經元已經大致能夠實現我們想要的功能。
在我詳細介紹「非永生計算」的所有缺點之前，我想給你舉一個例子，說明我們明顯可以通過使用模擬硬件更便宜地完成的計算任務。
如果您將神經活動的向量與權重矩陣相乘，那就是神經網絡的核心計算。這是它大部分工作所在之處。
目前我們所做的是以非常高的功率驅動晶體管，以表示數字中的位數。然後，我們執行O(n^2)的操作來將兩個n位數相乘。在計算機上可能只是一個操作，但在位操作上卻是n^2個操作。另一種選擇是將神經活動實現為電壓，將權重實現為電導。然後，在單位時間內，電壓乘以電導會產生電荷，而電荷會相互疊加。
現在很明顯，您可以通過電導矩陣乘以電壓向量。這種方法在能量效率上要高得多。已經存在以這種方式工作的芯片。不幸的是，人們接下來會嘗試使用模數轉換器將模擬答案轉換為數字形式，而這是非常昂貴的。如果可能的話，我們希望完全保持在模擬領域。但問題是，不同的硬件部件最終將計算出略有不同的結果。
「非永生計算」的主要問題是，學習過程必須利用其運行的硬件部件的特定模擬特性，而我們不確切知道這些特性是什麼。
例如，人們不知道將輸入與神經元的輸出相關聯的確切函數，或者可能不知道連接性。這意味着我們無法使用反向傳播算法等方法來獲得梯度，因為反向傳播是前向傳遞的精確模型。
那麼問題是，如果我們不能使用反向傳播，我們還能做些什麼？因為我們現在非常依賴於反向傳播。這裡有一個人們已經討論了很多次的非常簡單和明顯的學習過程。您對網絡中的每個權重生成一個小的隨機擾動向量。然後，您測量全局目標函數的變化。在一小批示例上，然後通過擾動向量進行永久性地更改權重，擾動向量的縮放因子為目標函數的改善。如果目標函數變得更糟，顯然您會朝相反的方向調整。這個算法的好處是，平均而言，它的行為與反向傳播相同。
因為平均而言，它遵循梯度。但它的問題在於方差非常高。當您選擇一個隨機方向在權重空間中移動時，所產生的噪聲與網絡的規模非常不成比例。這意味着，這種算法對於連接數較少的小網絡可能有效，但對於大型網絡來說效果不佳。
這裡有一種方法效果要好得多。它仍然存在類似的問題，但比擾動權重要好得多，即擾動神經元的活動。也就是說，您考慮對每個神經元的總輸入進行隨機擾動的向量。您觀察當您在一小批示例上對其進行隨機擾動時，目標函數會發生什麼變化，並獲得由此擾動導致的目標函數差異。
然後，您可以計算如何改變神經元的每個傳入權重以遵循梯度。
同樣，這只是梯度的隨機估計，但噪聲要比擾動權重小得多。這個算法足夠好以學習簡單的任務，比如識別數字。
如果您使用非常非常小的學習速率，它的行為就和反向傳播完全一樣，但速度要慢得多，因為您需要使用非常小的學習速率。如果您使用較大的學習速率，它會有噪聲，但對於類似MNIST的任務仍然可以很好地工作，但不能很好地擴展到大型神經網絡。
要使其擴展，我們可以採取兩種方法。不是試圖找到適用於大型神經網絡的學習算法，我們可以嘗試找到適用於小型神經網絡的目標函數。這裡的思路是：我們想要訓練一個大型神經網絡的話，要做的是使用許多小的目標函數來應用於網絡的各個小部分。
因此，每個小組神經元都有自己的局部目標函數。現在，可以使用這種活動擾動算法來訓練一個小型的多層神經網絡。它的學習方式與反向傳播大致相同，但噪聲較大。然後通過使用許多更多的小型局部神經元組，將其擴展到更大的網絡規模。
這引出了一個問題，即這些目標函數是從哪裡來的？一種可能性是在局部區域進行無監督學習，即在圖像的每個層級上都有局部區域的表示，並使得每個局部區域在特定圖像上產生局部神經網絡的輸出。然後嘗試使該局部神經網絡的輸出與所有其他局部區域產生的平均表示一致。
您試圖讓從局部區域提取的內容與同一圖像中所有其他局部區域提取的內容達成一致。因此，這是經典的對比學習。同時，您還試圖與同一層級上其他圖像中提取的內容產生不一致。
具體細節更加複雜，我們不會詳細介紹。但我們可以使這個算法運行得相當好，其中每個層級的表示都有幾個隱藏層，您可以進行非線性操作。各個層級使用活動擾動逐漸學習，而較低層級沒有反向傳播。
因此，它的能力不會像反向傳播那樣強大，因為它無法在許多層級上傳播反向信號。很多人投入了大量工作使這個算法能夠運行，並且已經證明它可以相對良好地工作。它的效果可能比其他提出的在實際神經網絡中可能有效的算法要好。但是要使它工作起來是有技巧的。它仍然不如反向傳播好。
隨着網絡變得更深，它相對於反向傳播的效果會顯著下降。我沒有詳細介紹這種方法的所有細節，因為您可以在一篇發表在ICLR上的論文和網絡上找到相關資料。
現在，讓我談談對於「非永生計算」而言的另一個重大問題。
總結一下，到目前為止，我們還沒有找到一個真正好用的學習算法，可以充分利用模擬屬性。但我們有一個可以接受的學習算法，足以很好地學習諸如小規模任務和一些較大的任務（如ImageNet），但效果並不太好。
所以「非永生計算」的第二個重大問題，是其「非永生計算」性。
當特定的硬件設備失效時，所有學到的知識也會隨之喪失，因為知識和硬件細節密切相連。解決這個問題的最佳方案是在硬件設備失效之前，將知識從教師傳授給學生。這就是我現在正在嘗試做的事情。教師向學生展示了對各種輸入的正確響應，然後學生試圖模仿教師的反應。
如果你觀察特朗普的推文是如何運作的，人們會因為他們認為特朗普說的是虛假的東西而感到非常不滿。他們認為他試圖描述事實，但事實上並非如此。特朗普所做的是對某種情況做出非常情緒化的回應。這使得他的追隨者能夠根據這種情況來調整他們神經網絡中的權重，以便對該情況給出相同的情緒化回應。
這與事實無關，而是關於從一個邪教領袖到邪教追隨者獲取偏執的運作反饋，但它確實非常有效。
如果我們考慮蒸餾方法的效果，以一個將圖像分類為大約一千個不重疊類別的代理為例。只需要大約10位的信息來確定正確答案。當你在訓練這個代理時，如果告訴它正確答案，你只對網絡的權重施加了10位的約束。
這並不是很多的約束。但是現在假設我們訓練一個代理來與教師對這1024個類別的響應一致。假設這些概率中沒有微小的、不重要的部分，也就是獲得與該分布相同的概率分布，該分布包含1023個實數，提供了數百倍的約束。
不久前，我和傑夫·迪恩（Jeffrey Dean）一起研究了蒸餾方法，並證明它可以非常有效地工作。確保教師輸出概率中沒有很小值的方法是在訓練學生時，將教師和學生都以高溫度參數運行。對於輸入softmax函數的低級概率值（即"low chips"），對教師的輸出進行溫度參數縮放，以獲得更平滑的分布。在訓練學生時，使用相同的溫度參數。需要注意的是，這種溫度參數調整僅在訓練過程中使用，而不是在使用學生進行推理時。
我只是想給你展示一個蒸餾的例子。這裡有一些來自"M"數據集的圖像。我展示給你的是教師對各個類別的概率分配情況。
當你使用高溫度參數訓練教師模型並觀察第一行時，它非常自信地認為這是一個數字二。如果你看第二行，它也相當自信地認為這是一個數字二。但它同時認為可能是一個數字三，或者可能是一個數字八。如果你仔細觀察，你會發現這個數字二與字母"h"相比更相似，而不是其他數字二。如果你看第三行，你會發現這個數字二非常像一個零。
而教師模型告訴學生，當你看到那個圖像時，應該輸出數字二，但你也可以在輸出中稍微增加對數字零的可能性。學生模型從這個例子中學到了比僅僅被告知那是一個數字二更多的信息。它正在學習與該圖像相似的其他特徵。
如果你看第四行，你會發現學生模型非常自信地認為那是一個數字二，但它也認為可能是一個數字一的可能性非常小。對於其他的數字二，它並不認為可能是數字一，或許只有第一行有一點可能性。我已經畫出了學生模型認為可能是數字一的那個圖像，這樣你就能理解為什麼它看起來像一個數字一，因為有時候數字一就是畫成那樣的。
其中一個圖像在頂部有一條線，在底部有一條線。這種樣子的圖像是數字一的一種特點，數字二也有點類似。然後，如果你看最後一張圖，這是教師實際上判斷錯誤的一張圖，教師認為它是數字五，但根據無盡標籤，它實際上是數字二。學生模型可以從教師的錯誤中學到很多東西。
關於蒸餾的一個特殊屬性我特別喜歡，那就是當你訓練學生模型使用教師的概率時，你在訓練學生模型以與教師相同的方式進行概括，即通過給錯誤答案賦予較小的概率來進行概括。
通常情況下，當你訓練一個模型時，你會努力讓它在訓練數據上得到正確答案，並希望它能正確地推廣到測試數據上。你會儘量使模型不過於複雜，或者採取各種方法，希望它能正確地進行推廣。但在這裡，當你訓練學生模型時，你直接訓練學生模型去進行推廣，因為它被訓練成以與教師相同的方式進行推廣。顯然，你可以通過給出一個圖像的標題而產生更豐富的輸出，然後訓練教師和學生以相同的方式預測標題中的單詞。
現在我想討論的是一個智能體群體如何共享知識。
所以，我們不再考慮個體智能體，而是考慮在一個群體中分享知識，事實證明，社區內部的知識共享方式決定了計算過程中的許多其他因素。
使用數字模型和數字智能，你可以擁有一大群使用完全相同權重的智能體，並以完全相同的方式使用這些權重。這意味着你可以讓這些智能體對不同的訓練數據片段進行觀察和計算，為權重計算出梯度，然後將它們的梯度進行平均。
現在，每個模型都從它所觀察到的數據中學習。這意味着你可以通過讓不同的模型副本觀察不同的數據片段，獲得大量的數據觀察能力。它們可以通過共享梯度或權重來高效地分享所學的知識。
如果你擁有一個擁有萬億個權重的模型，那意味着每次分享時你可以獲得數萬億比特的帶寬。但這樣做的代價是你必須擁有行為完全相同的數字智能體，並且它們以完全相同的方式使用權重。這在製造和運行方面都非常昂貴，無論是成本還是能源消耗方面。
一種替代權重共享的方法是使用蒸餾（distillation）。如果數字模型具有不同的架構，我們已經在數字模型中使用蒸餾。但是，如果你使用的是利用特定硬件的模擬特性的生物模型，那麼你無法共享權重。因此，你必須使用蒸餾來共享知識。這就是這次討論中所涉及的內容。
正如你所看到的，使用蒸餾來共享知識並不是很高效。用蒸餾來共享知識是困難的。使我產生了一些句子，你試着弄清楚如何改變你的權重，以便你也能產生相同的句子。但是與僅僅共享梯度相比，這種方式的帶寬要低得多。每個曾經教過東西的人都希望能夠將自己所知道的東西直接傾囊而授給學生。那將是很好的。那大學就沒必要存在了。
但是我們的工作方式並不像那樣，因為我們是生物智能。我的權重對你沒有用處。到目前為止，我們可以說有兩種不同的計算方式，一種是數字計算，另一種是生物計算，後者利用了動物的特性。它們在不同代理之間有效共享知識的效率上存在很大差異。如果你觀察大型語言模型，它們使用數字計算和權重共享。
但是模型的每個副本，每個代理都以一種非常低效的方式從文檔中獲取知識。實際上，這是一種非常低效的蒸餾形式。它接收文檔，試圖預測下一個單詞。
它沒有展示給它教師的概率分布，只是展示給它一個隨機的選擇，也就是文檔作者選擇的下一個單詞。因此它的帶寬非常低。這就是這些大型語言模型從人們那裡學習的方式。
每個副本通過蒸餾以非常低效的方式學習，但是你有成千上萬個副本。這就是為什麼它們可以比我們學習更多的原因。我相信這些大型語言模型比任何個體知道的東西多上千倍。
現在的問題是，如果這些數字智能體不再通過緩慢的蒸餾過程從我們這裡學習，而是直接從現實世界中學習，將會發生什麼？我必須說，儘管蒸餾的過程很慢，但當它們從我們這裡學習時，它們正在學習非常抽象的東西。
在過去幾千年裡，人類對世界的認識有了很多進展。
現在，這些數字智能體正在利用的是我們能夠用語言表達出來的我們對世界所了解的一切。因此，它們可以捕捉到人類在過去幾千年中通過文件記錄的所有知識。但每個數字智能體的帶寬仍然相當「非永生計算」，因為它們是通過學習文檔來獲取知識的。
如果它們能夠通過建模視頻等無監督的方式進行學習，那將是非常高效的。一旦我們找到了一種有效的方法來訓練這些模型以建模視頻，它們將能夠從整個YouTube學習，那是大量的數據。如果它們能夠操作物理世界，例如擁有機器手臂等，那也會有所幫助。
但我相信，一旦這些數字智能體開始這樣做，它們將能夠比人類學習更多，並且學習速度相當快。
這就涉及到我在開頭提到的另一個問題，即如果這些智能體變得比我們更聰明會發生什麼。
很顯然，這個會議主要討論的就是這個問題。但我的主要觀點是，我認為這些超級智能可能會比我過去所認為的發生得更快。如果你想創造一個超級智能體，不良分子將會利用它們進行操縱、選舉等活動。在美國和其他許多地方，他們已經在利用它們進行這些活動。而且還會用於贏得戰爭。
要使數字智能更高效，我們需要允許其制定一些目標。然而，這裡存在一個明顯的問題。存在一個非常明顯的子目標，對於幾乎任何你想要實現的事情都非常有幫助，那就是獲取更多權力、更多控制。擁有更多控制權使得實現目標變得更容易。我發現很難想象我們如何阻止數字智能為了實現其它目標而努力獲取更多控制權。
一旦數字智能開始追求更多控制權，我們可能會面臨更多的問題。比如，在使用物理氣隙隔絕的情況下，超級智能物種仍然可以輕易通過控制人類來獲得更多的權限。
作為對比，人類很少去思考比自身更智能的物種，以及如何和這些物種交互的方式。在我的觀察中，這類人工智能已經熟練的掌握了欺騙人類的動作，因為它可以通過閱讀小說，來學習欺騙他人的方式，而一旦人工智能具備了「欺騙」這個能力，也就具備前面提及的——輕易控制人類的能力。
所謂控制，舉個例子，如果你想入侵華盛頓的一座建築物，不需要親自去那裡，只需要欺騙人們，讓他們自認為通過入侵該建築物，就能實現拯救民主，最終實現你的目的（暗諷特朗普），這種操作令人感到害怕，因為我也不知道如何來阻止這樣的行為發生，所以我希望年輕一代的研究人員，可以找出一些更智能的辦法，來阻止這種通過欺騙實現控制的行為。
儘管人類在這個問題上目前還沒有什麼好的解決方案，但好在這些智能物種都是人打造的，而非通過進化迭代而來，這可能是人類目前具備的微弱優勢，恰恰是因為沒有進化能力，它們才不具備人類的競爭、攻擊性的特點。
我們可以做一些賦能，甚至是賦予人工智能一些倫理原則，只不過現在我仍然會感到緊張，因為到目前為止，我還想象不到更智能的事物，被一些反倒沒那麼智能的事物所控制的例子。我打個比方，假設青蛙創造了人類，那麼你認為現在誰會占據主動權，是人，還是青蛙？-（鈦媒體/作者:林志佳）
