【新智元導讀】奧本海默曾引用《薄伽梵歌》：「現在我變成了死亡」。深度學習之父Hinton，也同樣痛悔畢生工作。最近，Hinton、Bengio、Stuart Russell、張宏江、黃鐵軍、王仲遠、姚期智、張亞勤等大佬齊聚中國版「布萊切利」峰會上，簽署了《北京AI安全國際共識》。
「現在我變成了死亡，世界的毀滅者。」
這是奧本海默曾經引用印度教經文《薄伽梵歌》中的一句話。
上世紀40年代，奧本海默的發明，如同天地初開，徹底重塑了世界的面貌。原子彈的問世，帶來了一場空前的毀滅危機，讓人類面臨前所未有的生存考驗。
1945年8月，就在美國新墨西哥沙漠中核試爆結束不到一個月，美國隨即在日本廣島和長崎投下原子彈，在此後的幾十年間，奧本海默曾多次表達對制造出大規模毀滅性武器的無限追悔和遺憾。可曆史無法重演，數十萬人的死亡成爲科學發展曆程中無法磨滅的一筆。
而在21世紀的今天，面對AI的迅速發展，同樣表達出擔憂和後悔的還有兩位AI大佬：
深度學習泰鬥、神經網絡之父Geoffrey Hinton突然宣布離職谷歌，起因就源自于對生成式AI的恐懼，他甚至直言——「我對自己的畢生工作，感到非常後悔。」
Geoffrey Hinton認爲，數字智能終將取代生物智能。接受了海量網絡信息訓練的AI會比人類更聰明，因而能夠輕易操縱人類——這是超級智能接管人類控制權的路徑之一。
也在近期，深度學習三巨頭之一Yoshua Bengio指出，AI安全與核武器問題非常相似。世界上的 AGI 項目越多，對人類來說就越危險。因此，應該和通過國際條約來控制核武器數量一樣，去控制AGI項目的擴散。
「這不是國與國之間的對抗，而是人類與機器之爭。所有人都應該同舟共濟，患難與共。」
上述觀點正來自于3月10日-11日的「北京AI安全國際對話」，該對話是我國首個AI安全高端閉門論壇。
去年11月初，人工智能安全峰會在英國布萊切利公園舉行，包括中國、美國、英國和歐盟在內的超25個國家代表參與，甚至劍拔弩張的Elon Musk和OpenAI創始人Sam Altman等也齊聚一堂。
在AI安全面前，每一位科技領袖都不計前嫌，共謀大計。 英國媒體稱，「這是罕見的全球團結表現」。
而此次大洋彼岸的「北京AI安全國際對話」正是中國版的「布萊切利」峰會。
本次對話由智源研究院發起，智源學術顧問委員會主任張宏江與圖靈獎得主Yoshua Bengio擔任共同主席。Geoffrey Hinton、姚期智、Stuart Russell、傅瑩、張亞勤、薛瀾等30余位專家參會。
作爲國內最具影響力的AI研究機構之一，智源研究院 成功搭建了國際AI安全交流的對話平台。
與會專家在爲期兩天的對話中展開深入探討，共同擬定並簽署了《北京AI安全國際共識》，提出人工智能風險紅線及安全治理路線。
同時呼籲「在人工智能安全研究與治理上的全球協同行動，是避免不受控制的前沿人工智能發展爲全人類帶來生存風險的關鍵。」
AGI必將在10年或20年後降臨，落入壞人手中後果不堪設想
Bengio在對話發言中提到，我們不知道距離實現AGI還有多遠，但可以肯定的是，實現AGI是一種必然。
這個時間可能是5年，10年甚至20年。即使是10或20年，也並不遙遠。
AGI的實現勢必帶來巨大變革，我們需要開始爲此做好准備。如果只剩下5年，人類就更加迫切地需要尋求解決方案。
AI能力越強，爲人類帶來的優勢越多，與此同時也越來越危險。一旦落入壞人手中或失控，後果將不堪設想。
AI系統一旦失控會怎樣？
Bengio認爲，AI的本質是有目標的機器。一個更加強大的AI系統是一個能夠實現這些目標的機器。那麽誰來決定AI的目標呢，它可能是一個惡意的人或組織，試圖對社會做出災難性的破壞。還有一種更糟糕的可能性，即這些目標是AI自發形成的。
AI自發的行動目標源于自我保護。這個星球上的每一個生物都有著自我保護和生存的目標。
如果AI也産生了自我保護意識，那它們就不再僅僅是人類的工具，它們會像生物一樣抵制被關閉。AI甚至可能會采取欺騙手段來阻止人類進行一切不利于他們的行爲。
未來，它們可能比人類更擅長使用語言來影響、說服和操縱，可能會對人進行威脅或雇傭罪犯，下達命令以獲得更多控制權。它們也許可以在金融市場上比人類更輕松地賺錢。它們可以在互聯網上自我複制，因此很難將其關閉。
最令人擔憂的是，目前訓練AI系統的方式可能會使其變成危險實體。
人類訓練AI的方式類似于訓練動物，依照行爲進行反饋，做得好給獎勵，做得不好給懲罰。但在我們真正想要實現的和機器所理解的目標之間通常會存在不匹配，我們稱之爲錯位，或者不對齊（misalignment）。
比如，你要訓練你的貓不要去廚房的桌子上，當你在廚房裏時，它可能學會了不去廚房的桌子上，但也只有你責怪它的時候才聽話。你一旦去其他地方尋找時，它可能還是會出現在廚房的桌子上。
大量科學證據表明，要確保AI能夠准確理解人類想法非常困難。如果只是一只貓也無所謂，但如果是一個比人類更聰明的AI系統，情況則大不相同。
在這裏，可以將AI比作一只比人還強大的灰熊。我們會建造一個所謂「安全防護」的籠子，但現在這個籠子還無法堅不可摧。
問題在于，在某個時刻，AI或者說灰熊，會找到辦法破籠而出。然後它就不再依賴人類給它獎勵了（比如給它喂魚），它能自己去抓魚。
爲了讓人類能夠避免這類潛在的災難，我們需要解決兩大挑戰。
其一，科學性的挑戰。我們如何設計不會與人類爲敵的安全人工智能？
其二，政治性的挑戰，因爲即使我們知道構建安全人工智能的秘訣，有些人也可能不認同，原因在于企業和國家之間存在的競爭。「壞人」可能不在乎安全的規則。
因此，我們需要探討如何確保讓世界上所有國家都遵守安全協議，並且確保沒有國家會爲了經濟或軍事霸權濫用AI的力量，因爲這也會破壞地球的穩定。
數字智能終將取代生物智能，令人深感憂慮
在對話中，Geoffrey Hinton也進一步對數字智能取代生物智能的未來風險予以警示。
他指出，大語言模型理解世界、學習知識的方式與人類高度相似，它能夠很好地預測人類大腦負責語言部分的活動，並像人腦的記憶機制一樣將所有知識存儲爲特征交互，通過不斷重建來提取記憶。
值得警惕的是，Hinton認爲人工智能的數字計算優于人類大腦的生物計算。
如今的大模型能夠通過學習（learning）獲取程序和目標，這讓軟硬件協同的計算機設計和可朽計算（mortal computation）成爲可能——知識與硬件的精確物理細節不可分割，這是人類大腦執行計算任務的方式。
不同的是，人類大腦之間僅能通過緩慢、低效的蒸餾（distillation）進行知識共享，大模型的不同副本之間可以通過權重或梯度共享（weight or gradient sharing）簡單、快速地共享知識。
目前，數字計算的劣勢在于需要消耗大量能源。然而隨著能源成本不斷降低，數字計算的優越性會日益顯著，數字智能取代生物智能的預言或將一語成谶。
瞻望數字智能終將取代生物智能的未來，Hinton深感憂慮。
一旦AI擁有創造子目標的能力，它們將很快意識到「掌控更多權力」是非常明智的子目標，這讓它們可以獲取更多資源從而實現更多目標。
接受了海量網絡信息訓練的AI會比人類更聰明，因而能夠輕易操縱人類——這是超級智能接管人類控制權的路徑之一。
關于如何規避這些風險，Hinton表示一切都很不確定。
不同于以往的計算機程序，AI可以像人類一樣理解世界，並且可能比人類聰明得多——這是人類從未應對的情況。或許人類能夠找到方法來確保AI不會比人類更聰明，並且不會産生控制人類的意圖，但Hinton對此抱以悲觀態度。
因此Hinton認爲，投入巨大資源來嘗試確保AI安全是明智之舉。
「我猜我們會失敗，但我不確定。現在我們仍有機會，應該盡力去做。」
全人類同舟共濟：這不是國與國之間的對抗，而是人類與機器之爭
在國際合作與多邊治理方面，與會專家認爲，AGI項目的擴散問題（proliferation），與核武器問題非常相似。世界上的AGI項目越多，對人類來說就越危險。
因此，和通過國際條約來控制核武器數量一樣。控制AGI項目的數量是一個擴散問題。
與此同時，權力集中在少數公司或單一國家手中是危險的。沒有一個國家可以對這些AGI擁有完全的權力。與會專家認爲，對于那些5年、10年，甚至20年後才會出現的強大AI系統，應以多邊的方式進行治理和管控。
最理想的方案是由所有國家共同管理一個AGI項目，這將構建一個更加穩定的世界秩序，因爲所有國家將共同控制AI的許多好處，並確保這種力量不被濫用來對抗彼此，減少戰爭和其他類似事件的風險。
與會專家達成共識：
這不是國與國之間的對抗，而是人類與機器之爭。所有人同舟共濟，患難與共。 與其他任何問題相比，AI給人類安全帶來的威脅，足以使世界各國産生強烈的動機，爲全人類的安全而放棄一部分主權。 那麽如何做到這一點呢？ AGI項目的相互監督、跨國治理，以及最終的合並和削減。這當中還要考慮包括中美各國的優勢。 最終，我們的目的是在分享AI紅利的同時避免人類的終結。人類的未來不是由競爭驅動，而是由共同治理驅動。
對話達成共識——落實AI風險紅線
本次對話共邀請了衆多國際頂尖AI領域專家參與，包括圖靈獎得主Geoffrey Hinton、Yoshua Bengio、姚期智，UC Berkeley教授人類兼容人工智能中心主任Stuart Russell、傅瑩女士、清華大學智能産業研究院院長張亞勤、清華大學蘇世民書院院長薛瀾、南洋理工大學副校長林國恩、Anthropic安全專家Sam Bowman、未來人類研究所高級研究員Toby Ord、加州大學洛杉矶分校人工智能治理中心國際治理主管Robert Trager、加州大學伯克利分校教授，麥克阿瑟獎得主Dawn Song、施瓦茨·賴斯曼技術與社會研究所所長Gillian Hadfield、英國AI安全研究所CTO Jade Leung、英國先進研究與創新署（ARIA）項目總監David Dalrymple，北京大學AI安全與治理中心執行主任楊耀東，來自零一萬物、智譜AI、瑞萊智慧等國內創業公司，多家互聯網企業與投資機構代表，以及智源研究院黃鐵軍、王仲遠、林詠華等。
在最終的共識擬定環節，與會者經過討論一致認爲，避免人工智能導致的災難性全球後果需要我們采取果斷的行動。
協同合作的技術研究與審慎的國際監管機制的結合可以緩解人工智能帶來的大部分風險，並實現其諸多潛在價值。而我們必須繼續堅持並加強國際學術界和政府在安全方面的合作。
共識從AI風險紅線、落實治理路線兩個角度進行了闡述（部分內容如下圖）。
共識全文鏈接：https://baai.org/l/IDAISBeijing
2019年5月，在智源研究院的倡導下，北京多家高校、科研機構與企業聯合發布了《 》，爲規範和引領中國人工智能健康發展提供「北京方案」。
2024年3月，此次智源研究院發起的「北京AI安全國際對話」成功舉辦，不僅加強了中國與國際AI安全領域的交流與合作，也推動了全球AI安全技術的發展和共識形成，爲我國深度參與國際AI安全合作搭建了面向世界的平台。---[新智元報導*編輯：編輯部/來源: 新智元 ]
參考資料：https://baai.org/l/IDAISBeijing
