（圖片來源：Stockcake）
最近AI領域發生了一件重磅事件，引發廣泛關註。
北京時間6月20日，OpenAI聯合創始人、前首席科學家伊利亞（Ilya Sutskever）在社交平臺上發文宣布，將創辦一家「安全超級智能公司」（Safe Superintelligence Inc.，簡稱SSI）。
「SSI是我們的使命、我們的名字、我們的整個產品路線圖，因為它是我們唯一的焦點。我們的團隊、投資者和商業模式都是以實現SSI為目標。」伊利亞、科技企業家和投資者Daniel Gross、OpenAI前科學家Daniel Levy在該公司官網發表的聯合署名文章中稱，「構建安全的超級智能，是我們這個時代最重要的技術問題。我們計劃盡快提升能力，同時確保我們的安全始終處於領先地位。」
伊利亞透露，該公司已經啟動了世界上第一個直接的安全的超級智能實驗室，只有一個目標和一個產品：一個安全的超級智能。但目前，SSI並未公布公司的股東、科研團隊和盈利模式。
實際上，伊利亞離開OpenAI，很大程度上就是因為與OpenAI CEO奧爾特曼（Sam Altman）為核心的管理層存在分歧，尤其是在如何駕馭超級AI、AGI（通用人工智能）安全發展等問題上存在相反的觀點。
其中，奧爾特曼和OpenAI總裁Greg Brockman傾向於加速商業化，以獲得更多資金來支持AI模型的算力需求，力求快速增強AI的力量；而伊利亞等人則希望AI更安全。
去年11月，雙方矛盾激化，OpenAI上演「宮鬥」大戲，結果奧爾特曼和Greg Brockman在短暫離職後重歸OpenAI，原董事會中的多位董事離開，伊利亞則在今年5月宣布離任。
對此，國內AI安全公司瑞萊智慧（RealAI）CEO田天對鈦媒體AGI等表示，奧爾特曼和伊利亞之間的分歧在於對AI安全的「路線之爭」，伊利亞的新公司就是為了 AI 安全目標而設立的。
田天指出，包括伊利亞、圖靈獎得主Geoffrey Hinton等人認為，AI安全問題現在已經到了「非常迫切」去解決的程度。如果現在不去做，很有可能就會錯過這個機會，未來再想亡羊補牢是「沒有可能性」的。
「大模型領域也是一樣。雖然我們對於大模型預期非常高，認為它在很多領域都能去應用，但其實現在，真正在嚴肅場景下的大模型應用典型案例還是非常少的，主要問題在於 AI 安全上。如果不解決安全可控問題，對於一些嚴肅場景，是沒有人敢去信任AI，沒有人敢去用它（AI）。只有說解決安全、可信問題，AI才有可能去落地和應用。」田天表示，如果一些商業化公司對於安全問題不夠重視、並毫無邊界快速往前跑的話，可能會造成一系列安全危害，甚至可能對於整個全人類有一些安全風險和影響。
早在聊天機器人ChatGPT發布之前，伊利亞便提到AGI對人類社會可能的威脅。他把AGI與人類的關系，類比人類與動物的關系，稱「人類喜歡許多動物，但當人類要造一條高速路時，是不會向動物征求意見的，因為高速路對人類很重要。人類和通用人工智能的關系也將會這樣，通用人工智能完全按照自己的意願行事。」
AGI，即人工智能已具備和人類同等甚至超越人類的智能，簡單而言就是能說會寫，具備計算、推理、分析、預測、完成任務等各類人類行為。這樣的AI曾經遙遠，但在OpenAI推出第四代模型GPT-4且正訓練第五代模型GPT-5時，AGI看似近在咫尺。
今年以來，AI 安全問題持續引發關註。
今年1月，美國一位流行歌手被人用AI惡意生成虛假照片，在社交媒體迅速傳播，給歌手本人造成困擾；2月，香港一家公司遭遇「AI變臉」詐騙，損失高達2億元港幣，據悉，這家公司一名員工在視頻會議中被首席財務官要求轉賬。然而，會議中的這位「領導」和其他員工，實際都是深度偽造的AI影像。詐騙者通過公開渠道獲取的資料，合成了首席財務官的形象和聲音，並製作出多人參與視頻會議的虛假場景。
整體來看，為了實現AGI目標，當前，AI系統在設計上主要面臨五大安全挑戰：
軟硬件的安全：在軟件及硬件層面，包括應用、模型、平臺和芯片，編碼都可能存在漏洞或後門；攻擊者能夠利用這些漏洞或後門實施高級攻擊。在AI模型層面上，攻擊者同樣可能在模型中植入後門並實施高級攻擊；由於AI模型的不可解釋性，在模型中植入的惡意後門難以被檢測。
數據完整性：在數據層面，攻擊者能夠在訓練階段摻入惡意數據，影響AI模型推理能力；攻擊者同樣可以在判斷階段對要判斷的樣本加入少量噪音，刻意改變判斷結果。
模型保密性：在模型參數層面，服務提供者往往只希望提供模型查詢服務，而不希望暴露自己訓練的模型；但通過多次查詢，攻擊者能夠構建出一個相似的模型，進而獲得模型的相關信息。
模型魯棒性：訓練模型時的樣本往往覆蓋性不足，使得模型魯棒性不強；模型面對惡意樣本時，無法給出正確的判斷結果。
數據隱私：在用戶提供訓練數據的場景下，攻擊者能夠通過反復查詢訓練好的模型獲得用戶的隱私信息。
北京智源人工智能研究院學術顧問委員會主任張宏江在2024北京智源大會上表示，過去一年大模型發展速度之快，行業紛紛探討通用人工智能的實現路徑與曙光，但AI安全問題的嚴重性與緊迫性不容忽視。
「當我們從不同層面 AI 能安全問題進行審視，除了對社會偏見，錯誤信息，潛在的工作替代或者大模型、自主機器人帶來的大規模自動化而導致的工作流失，以及潛在的加速財富集中或財富兩極化等問題有所了解，更應該關註 AI 可能帶來新的經濟體系和包括潛在的災難性風險或誤用事故，甚至可能導致延伸性的人類風險。AI 安全已有很多聲明和請願，但更重要的是明確目標、投入資源、采取行動、共同應對風險。」張宏江表示。
北京智源人工智能研究院理事長黃鐵軍表示，水深流急，AI安全已進入風險很突出的階段。應對AI安全風險，需要對AGI水平和能力進行分五級，而且，人類應該致力於解決 AI 安全問題，加強與國際社會在AI安全領域的合作，確保AI技術可控，迎接安全AGI的到來。
AGI水平和能力的五個級別
生成式AI技術是一把雙刃劍，如何把生成式AI的強大能力用於建立信息安全規範，將製約行業發展的「絆腳石」變為「壓艙石」？業界一直在探索「用技術治理技術」的方案。
就在6月21日，瑞萊智慧推出全球首個可實時檢測AI合成內容產品RealBelieve，中文名「尊嘟假嘟」。
據悉，與此前國內外AIGC檢測產品被動上傳檢測不同，RealBelieve主要面向終端用戶，能夠提供主動實時檢測防護，可接入視頻流鑒別人臉真偽，也可在用戶瀏覽網頁內容時提供AIGC合成可能性提示。不僅可以為終端用戶提供文本、圖片、視頻和音頻多種模態的文件上傳檢測服務，還可以通過瀏覽器插件的形式實時提示用戶所瀏覽網頁的疑似AI合成內容，變被動為主動。目前，尊嘟假嘟RealBelieve已開啟內測招募。
田天表示，作為國內為數不多專攻 AI 安全領域的公司，瑞萊智慧已服務百余家政務、金融等領域客戶。隨著AI技術的發展，安全在整個AI發展中的優先級一直在往前去走。未來 AI 技術要往超級智能方向發展的話，必須要建立整個安全體系，從而確保形成安全的超級智能技術。
「如果現在不去做好 AI 安全的話，可能後面我們就沒有機會了。」田天稱。
---[鈦媒體/作者:林誌佳*編輯:胡潤峰｜鈦媒體AGI]
