連續五天的OpenAI管理層沖突及談判後，Sam Altman最終回歸OpenAI。但皆大歡喜之際，是時候聊聊這次事件的另外一邊聲音了：OpenAI技術靈魂人物Ilya Sutskeve對AI安全的恐懼和他對技術發展的信念。隨著AI技術快速發展，矽谷兩大對立思潮分裂明顯：一派是擔心安全的有效利他主義（EA），另一派是支持技術無限加速的有效加速主義（E/ACC），隨著科技往前推進，這兩種聲音需要被更好平衡和理解。
01 “叛變者”Ilya Sutskever
美國時間周二晚，OpenAI董事會風波又又又又發生了反轉，最終Sam Altman回歸OpenAI擔任CEO，董事會全部重組，三名初步董事會成員包括Salesforce前聯合首席執行官Bret Taylor, 美國前財政部部長Larry Summers, 以及Quora 創始人Adam D'Angelo留在了董事會。
我相信，這個鬧劇在之後幾天還會有更多的細節和消息流出，但目前來看，事態應該不會再有大的反轉了（希望如此），在連續四天的各種反轉之後，OpenAI，這家AI技術最重要的公司，終于暫時穩定了下來。
但是，在這個各方皆大歡喜的時刻，我們希望冷靜下來，回顧一下這場“罷免風波”中一個非常重要的聲音以及人物，就是這次風口浪尖上的“叛變者”：OpenAI的首席科學家、技術靈魂人物Ilya Sutskever。
這期我們來回顧一下Ilya Sutskever的成長曆程，認識一下這位AI技術天才，同時，也從他近期的媒體采訪發言中了解一下他的思想，包括有效利他主義、有效加速主義這些思想派別在矽谷科技領導者中間的博弈和沖突，以及Ilya發起的“超級對齊”是什麽意思，OpenAI將如何發展，AI安全問題能如何解決。
02 成爲OpenAI技術靈魂人物
1986年，Ilya Sutskever出生在蘇聯時期的俄羅斯，一直到五歲，全家搬去了以色列耶路撒冷，然後在以色列成長到大學時期，前往加拿大的多倫多大學學習電腦科學。之後，繼續在多倫多大學進修研究生，而他的導師，正是“深度學習之父”Geoffrey Hinton。
2012 年 Hinton帶領Ilya Sutskever，還有另外一名學生Alex Krizhevsky發表了深度卷積神經網絡AlexNet論文，之後在ImageNet 圖像識別競賽上取得了轟動性成績。然後Hinton帶著Alex和Ilya創立了公司DNNResearch,被各個科技大廠競價瘋搶，最後他們選擇了谷歌。
這一段曆史在Genius Makers這本回溯ChatGPT誕生前十年矽谷巨頭如何布局AI的書裏面有詳細提及，中文也有譯本叫《深度學習革命》，大家感興趣可以去看看。
之後，就是Ilya Sutskever在谷歌的將近三年時間。直到2015年，被馬斯克和Greg Brockman拉去跟Sam Altman還有一衆大佬們一起創立了OpenAI最初的非營利組織架構。Ilya Sutskever從第一天開始，就是OpenAI技術的靈魂人物。
最開始的時候，OpenAI內部可以說是各路神仙打架，因爲最開始都是AI技術大牛，但大牛們各自擅長和研究領域不一樣，所以有點像無頭蒼蠅一樣各種嘗試，所以大家可以看到最開始OpenAI嘗試過AI機器人，最開始訓練AI打遊戲，但最開始幾年都被谷歌吊打，直到2017年，谷歌發表的Transformer架構論文Attention is all you need引發業內關注，OpenAI內部開始討論集中火力走大模型方向，Ilya Sutskever支持了這個方向的發展，然後，主導了GPT-1，2，3，4以及生成式畫圖DALLE系列模型的研發。但是到GPT-5的時候，他啓動了“叛變”，將AI安全問題上升到輿論中心。
03 AI安全擔憂與分裂
其實，AI大模型的安全問題不是第一次造成OpenAI內部的分裂。2020年底，OpenAI的前核心員工Dario Amodei就帶著10名心腹離開OpenAI，包括他自己的親妹妹Daniela Amodei，創辦了如今OpenAI最大的競爭對手Anthropic。而Dario出走的最根本原因就是安全問題。
如今的生成式AI還是一個黑匣子，人們並不知道其中是如何運作的，只知道堆參數堆算力的“大力出奇迹”的方式，而擔心AI安全的這一波技術人員擔心，“知其然不知其所以然”的人工智能發展態度會帶來未知的風險。
有一個經典的AI案例是，機器學習中有一個現象叫做Reward hacking激勵扭曲現象。這部分的解釋我們在矽谷101之前的視頻《OpenAI黑手黨中》有詳細解釋過，我在這裏再簡單解釋一下：
比如說，我們給AI布置一個任務，讓它去通關吃豆子遊戲。按人類設置的激勵假設是，你遊戲玩得更好，通關得越快，被獎勵的分數就越高。但AI研究人員發現，這個激勵假設很容易被AI所扭曲，AI會執迷于獲得更高的分數，要麽走完所有錯誤的路吃掉所有的豆子來獲得更高的分數，要麽改掉遊戲設置來作弊獲得更高的分數。
但是AI卻從來不理解，要把走出迷宮當作真正的目標。這就叫做Reward hacking，激勵模型設計和AI真實做法之間有無法預測的不確定性，而形成的激勵扭曲。而當AI神經網絡變得更強大而出現激勵扭曲時，AI會更容易産生更想象不到的方式去作弊來得到激勵。再舉一個更極端的例子，想象一下你和AI在下棋，你給AI布置的任務是贏下棋局，但除了跟你玩遊戲獲勝之外，還有一種情況是，AI認爲把你消滅掉，是贏下棋局更容易的方式，那... 。很可怕對吧？同時，生成式AI帶來的其它安全問題還有錯誤信息，算法歧視問題，AI的濫用問題等等。
這就是爲什麽，很多AI從業人員呼籲減慢AI發展速度，真正需要關注安全問題。
Dario Amodei采取的方式是一方面用小規模人工智能網絡的模型去真正搞清楚黑匣子問題。我曾經有機會當面問Dario黑匣子問題什麽時候能搞清楚，他說需要2-3年的時間。另外一面，Anthropic推出的ChatGPT競品Claude號稱基于“Constitutional人工智能”， 用“有監督學習”的方式，讓人工智能根據一套constitution中的原則來産生無害性偏好的數據集。確實有業內人士反饋說，Claude感覺上是更安全可靠的，但我還是非常期待AI黑匣子能被完全解密的那一天。
04. Ilya 的“超級對齊”
到了OpenAI這邊，Ilya Sutskever在Dario Amodei叛逃的那一次並沒有跟著離開，而是留下來繼續研發了GPT3.5，ChatGPT，以及Dall-E系列，之後GPT4和如今的GPT5。直到這次，加入了董事會對Sam Altman的罷免。
我其實不驚訝Ilya Sutskever最終對安全問題的反擊的，只是沒想到是這種決然的方式。其實也是有迹可循，在最近幾個月，Ilya Sutskever開始頻繁對媒體表示，對AI安全的擔心。
還記得我們開頭提到的，Ilya Sutskever是“深度學習之父”Geoffrey Hinton的學生。Geoffrey Hinton今年早前從谷歌辭職，就是爲了能更好的對人工智能安全提出警告，並且號稱“對畢生工作感到後悔和恐懼”。所以，作爲Hinton的學生，Ilya對AI的擔心很早就存在。但與Dario Amodei對AI安全的解法不一樣，Ilya的解法叫做“超級對齊”，Superalignment。“AI對齊”的意思是，要求AI系統的目標要和人類的價值觀與利益相對齊。
有媒體報導說，Ilya在有一次團隊在外團建的時候，拿出了一根木質雕像，來代表“不對齊”的人工智能，然後把它點燃，強烈表達他對不受控制的人工智能的不接受，以及倡導與人類價值觀和安全標准保持一致。
所以在今年7月，OpenAI 正式宣布成立一個新的研究團隊“超級對齊”Superalignment團隊，由Ilya和研究員Jan Leike共同領導，計劃未來4年投入20%算力，用AI監督AI的方式，解決超智能AI對齊問題。
用AI來監督 AI會是一種新的嘗試，我們現在也不知道是否能成功解決AI安全的問題。但Ilya認爲，這是我們現在必須要做的。
OpenAI的事態發展到現在，超出了Ilya的想象和控制，他本人也在推特上表示，自己後悔加入這次的董事會罷免中，不想傷害OpenAI，並且他的名字出人意料地出現在了要求董事會集體辭職的員工請願書上。之後，董事會再度和Sam Altman談判，最終Sam回到OpenAI。
在一天之前，我們《矽谷101》播客的時候嘉賓說了一段話還挺觸動我的，他說，整個事件中，Ilya Sutskever肯定是挨罵最多的那個人，Sam Altman肯定是在矽谷受支持最多的那個人，這就是爲什麽我們要保護Ilya，這個對立面的聲音，也許未來的很多年往回看，我們會發現，Ilya的角色也許會相當于《三體》中的執劍人羅輯。
陶芳波博士，MindOS創始人
其實Ilya不是一個追求權利的人，也不是支持站隊或者思潮運動的人，Ilya持有的觀點我覺得是跟他的老師比較像的，但他最後的選擇比他的老師更勇敢一點，當然也跟他更年輕有關系。他覺得，我也保守，我也相信AI它最終可能會有很大的風險，但我依然要在一個企業裏面，我依然要在組織裏面，而不是只在外面提醒大家有這個風險，我依然要擔起這個責任去創建一門新的科學，這門科學叫做Alignment（對齊技術），來幫助未來的AI真的具有某種底層的編程的注入，來確保它們的安全性，這是一個完全新的領域，沒有OpenAI這群人之前，沒有人知道還有一門科學叫做“對齊科學”我們要去關注的。所以他這種在行業中去推動進步的同時，又有勇氣去考慮別人考慮不到的事情，並推動一個新的科學發展的這種精神，我覺得是要被人了解到的，而不只是認爲他是一個保守主義者，甚至有人會覺得他是一個白蓮花，我覺得這是對他的一個誤讀。
05 EA vs. E/ACC
OpenAI在網頁上這樣寫到“鑒于我們現在所看到的情況，可以想象，在未來十年內，人工智能系統將超過大多數領域的專家技能水平，並進行與當今最大的公司之一一樣多的生産活動。” 所以，十年之後，人類的社會架構可能會發生重大改變。在如此大變革來臨之際，我觀察到的矽谷是極度分裂的，在這樣的分裂當中，出現了所謂“有效利他主義”和“有效加速主義”的兩大思維派系。
有效利他主義Effective Altruism，簡稱EA，目前是不少科技領袖和創業者們身上的標簽，他們認爲，如果生活在數千英裏外的人很重要，那麽生活在數千年之後的人們也同樣重要，也就是說，我們必須要被以後的人類，我們的後代來提前鋪墊。OpenAI董事會中的兩名女性董事，曾經或目前深度參與過EA的慈善基金或組織，是非常明顯的EA，也可以理解爲AI保守派，希望重視AI安全。其中媒體也報道說，Helen因爲之前的一篇研究文章中指出OpenAI的安全問題而表揚了對手Anthropic而跟Sam Altman起過爭執。
而另外一個思潮，叫做“有效加速主義”，Effective Accelerationism，簡稱e/acc，你會在推特，linkedin上很多地方看到矽谷不少人將自己歸到這個派別中（Garry Tan/Marc Andreessen推特賬號），孵化器YC的掌門人Garry Tan甚至做了件e/acc的衣服穿著，他們認爲，技術與資本應該聯合，無條件實現加速技術創新，並且快速推向市場來顛覆社會結構。
這兩股技術信仰最近幾年一直在矽谷打架，也不出意外，發生在了OpenAI的身上。
但無論是EA還是E/ACC，我相信，每個派別裏，都有很多人是真正愛人類的，所以他們也希望，AI也能夠愛人類。而這種愛的定義，要很小心很謹慎很重要。
所以你們是EA還是E/ACC呢？---(文 : 矽谷101*作者 : 陳茜/钛媒體)
