* OpenAI 華人科學家翁荔 ：人類如何培養出下一代聰明且安全的AI技術 *
AI 如何變得更加安全？
钛媒體App 11月3日消息，華人青年科學家、OpenAI研究副總裁（安全）翁荔（Lilian Weng）近期在2024Bilibili超級科學晚上發表主題爲《AI 安全與“培養”之道》的演講。這是其首次在國內發表關于 AI 技術的演講。
翁荔表示，ChatGPT橫空出世以來，AI技術如同搭乘了高速列車，迅速滲透並影響著人類。AI每天都在變化，需要我們用心引導、教育，確保是更好的服務于人類，同時確保安全。而一個既安全又智能的AI，無異于將爲我們的生活帶來諸多裨益。
具體來說，隨著AI的智能化和自主化，確保其行爲符合人類價值觀變得重要，AI可能因偏見而變得狹隘，或因對抗性攻擊而受到質疑。
因此，需要用心引導AI，確保其服務于人類並確保安全，而AI安全是實現其潛在益處的基礎，類似于自動駕駛技術。
從數據層面，提供多樣、全面、正確的數據，可以減少AI的偏見，而依賴于多人標注的數據，以提高AI的准確性；同時，基于強化學習（RL）和基于人類反饋的強化學習（RLHF），通過獎懲機制訓練AI，類似于訓練小狗；此外，使用模型自我評價和詳細的行爲規則來提升AI的輸出質量。
比如，在文檔寫作和視頻音樂制作中，普通人可以通過設定背景、角色思想和關鍵詞來引導AI。
翁荔畢業于北京大學信息管理系，如今該系名爲北京大學數字人文實驗室，她是2005 級本科生，是“兜樂”項目的骨幹設計人員，畢業後赴美攻讀博士學位，曾就職于Facebook，如今是OpenAI華人科學家、ChatGPT的貢獻者之一。
翁荔在2018年加入OpenAI，後來在GPT-4項目中主要參與預訓練、強化學習&對齊、模型安全等方面的工作。她曾提出最著名的Agent公式——Agent=大模型+記憶+主動規劃+工具使用。
翁荔在演講中表示，人類需要教會AI安全基本原則和道德准則，使其成爲人類的夥伴。同時，通過思維鏈（CoT）推理和擴展性研究來提升AI的可靠性和監督。
翁荔強調，AI安全需要每個人的參與，社區可以共同影響AI的成長。
“AI的安全不僅僅是研究者的責任，它需要每一個人的參與。AI 技術是一把雙刃劍，它帶來的便利和挑戰並行，我們的參與至關重要。”翁荔稱。
以下是翁荔演講內容，經钛媒體AGI編輯整理：
大家好，我是翁荔。今天我想與大家探討一個既深刻又有趣的話題，AI安全，以及我們如何像培養下一代一樣，培育出既聰明又安全的人工智能。
繼ChatGPT橫空出世以來，AI技術如同搭乘了高速列車，迅速滲透並影響著我們的日常。
AI每天都在進化，需要我們用心引導與教育，以確保其更好地服務于人類，同時確保安全無虞。一個既安全又智能的AI無疑將爲我們的生活帶來諸多裨益。
試想一下，一個能洞察你生活習慣的智能家居系統，能根據你的需求自動調節室內溫度和光線，或是一個時刻關注你健康狀況的AI助手，能爲你提供量身定制的健康建議。
AI不僅能顯著提升我們的生活質量，還能開辟新的就業領域，提升工作效率。
然而，這一切均建立在AI安全的基礎之上。正如自動駕駛技術一樣，它能極大的提升生活便利性，但是一旦出錯，後果可能不堪設想。
隨著AI應用日益智能化與自主化，如何確保AI的行爲符合人類價值觀，真正做到以人爲本，成爲了AI安全與對齊研究的核心議題。人類在成長過程中會不斷學習進步，但也會遇到成長的煩惱。AI同樣如此，它可能會因爲數據偏見而變得狹隘，也可能因爲對抗性攻擊而被惡意利用。
悉心教育，也就是AI安全和對其研究，才能使AI成長過程更加順利。
讓我們以健康領域的應用爲例，很多疾病研究的數據往往以男性群體爲主，這可能導致AI在處理女性的健康問題時風險評估不准確。
此外數據本身也有可能存在偏見，比如有研究表明女性心髒病症狀更容易被歸結成焦慮等心理問題而造成診斷遺漏。因此，我們需要通過對AI安全和對其的研究來減少這種偏見。
AI學習的基礎是數據，數據是它的實物，要想讓AI變得聰明可靠，我們必須確保它營養均衡，也就是提供多樣、全面、正確的數據，幫助它能夠正確的理解這個複雜的世界並減少偏差。
在使用人類標注的數據時，我們可以依賴于群體智慧，也就是the wisdom of the crowd，即同一個數據點被多人標注多數票獲勝，這種方法簡單而有效。
有意思的是，1907年的一篇自然科學雜志中的文章，作者追蹤了一場年度展覽會上的一個有趣的競有獎競猜。展覽會上人們選出一頭肥牛，讓大家來猜測牛的重量，最接近真實數據的人將獲得大額的獎金。
作者發現，最中間值往往是最接近真實的the medium value，而這個數估計值也被稱爲wax popular。它是拉丁語中the voice of the people，也就是人民的聲音的意思。
在這篇將近120年前的科學文章中，作者總結道，我認爲這個結果比人們預期的更能證明民主判斷的可信度。這也是最早提到群體智慧如何發生作用的科學文獻。
而至于如何把高質量標注的數據喂給AI，基于人類反饋的強化學習，也就是RLHF技術起到了關鍵作用。
在了解RLHF之前，讓我們快速了解一下什麽是RL reinforce learning。強化學習是一種機器學習方法，它主要通過獎懲機制來讓模型學會完成任務，而不是依靠直接告訴模型如何去做這些任務。
想象一下它就好像你要訓練小狗，如果小狗做對了一個動作，比如坐下你就給它一塊骨頭餅乾，做錯了就不給獎勵。這樣小狗就會因爲想吃到更多的餅乾，而學會如何正確的坐下。
同理，AI也在這種獎懲機制中學習，通過不斷的嘗試並得到反饋，找到最佳的行動策略。一個早期的研究表明，強化學習能利用少量人類反饋，快速有效的教會智能體做複雜的動作，比如學會如何後空翻。
同樣的方法也可以用于訓練大語言模型。當我們看到，針對同一問題的不同AI回答時，我們可以告訴模型，哪一個回答更好、更正確、更符合人類價值觀。這樣我們就像家長糾正孩子一樣，能夠調節AI的學習過程。
此外，我們還可以使用模型本身作爲輸出I輸出質量的評分者。比如在entropic發表的constitutional AI中，模型就通過對自己行爲的自我評價進行改進。
或者像OpenAI最近發表的對齊強化學習中，我們可以制定非常詳細的行爲規則來告訴AI，比如如何何時拒絕用戶的請求，如何表達同理心等等。
然後我們在RL的獎勵機制中，非常精准的來給予相應的評分和獎勵。這個過程中，一個更加強大的AI有能力更精准的判斷他是否有在遵循人類的價值觀和行爲准則。
總之，強化學習技術就像一把鑰匙，幫助我們打開AI高質量學習和發展的大門。在培養AI更懂我們的過程中，普通人也能發揮重要的作用。
在文檔寫作，我們可以采用兩個小技巧。首先設定詳細的背景和角色，就像導演爲演員准備劇本一樣，讓AI在豐富的情境中捕捉我們的意圖。其次，精心挑選關鍵詞，構建邏輯清晰的文檔結構，使文檔既美觀又實用。
在視頻音樂制作領域，我們可以通過使用專業術語來引導AI比如黃金分割構圖或和弦進行將創意轉化爲現實。同時別忘了感情的投入，因爲這是賦予靈作品靈魂的關鍵。
簡而言之，通過細致的指導和情感的融入，我們可以幫助AI創作出既豐富又富有感染力的作品。
在西遊記中，孫悟空有緊箍咒約束行爲，我們應該給AI模型也帶上緊箍咒，也就是教會AI安全基本准則約束和道德標准，讓其遵守行爲規範。以人類利益爲先，成爲我們貼心的夥伴，而不是冰冷的機器。
讓AI學習基本原則和道德准則，可以使模型在面對複雜問題時運用推理得出正確的結論。
比如在OpenAI最近發表的o1-preview模型中，我們通過思維鏈推理，加強了模型的魯棒性，Robust使得模型可以更好的抵抗越獄攻擊。
擴展性監督在AI對其研究中也非常重要。隨著AI模型擴大，需要結合自動化工具和人類監督，有效的監督其行爲，確保它朝著正確的方向發展。
在一組研究中，我們用監督學習訓練語言模型，對網絡文本摘要進行批評。比如提高提供這個摘要非常准確，或者這個摘要遺漏了要點等等。
評論相比對照組，我們發現有AI幫助的標注員比沒有幫助的能多。找出摘要中約50%的問題，而且多數批評都參考了模型提供的內容。總之，給AI設定標准並進行有效監督，可以提升它對人們的幫助。
其實，AI的安全不僅僅是研究者的責任，它需要每一個人的參與。
以B站爲例，這個充滿活力的社區聚集了衆多AI愛好者和創作者，我們在這裏分享見解、討論問題，甚至監督AI的表現，共同影響著AI的成長。
我們每個人都應該成爲AI的大家長，不僅監督和反饋AI的表現，還參與塑造一個安全可信的AI 世界。
AI技術是一個雙刃劍，它帶來了便利與挑戰並行，我們的參與至關重要。讓我們攜手培養出一個既聰明又負責的AI夥伴。
感謝大家的聆聽，希望今天的分享能激發大家對于安全的熱情和興趣。也感謝B站提供這個平台，讓我們共同爲AI的未來貢獻力量。謝謝。---[钛媒體/作者 : 林志佳，編輯 : 胡潤峰｜钛媒體AGI]
* 中國科學院院士何積豐 ：普通人如何用好 AI 大模型産生更大價值 ？*
隨著生成式人工智能（AI）技術風靡全球，除了工具層面之外，很多人還希望關注我們普通人如何用好 AI 大模型技術提升自身和社會價值。
钛媒體App 11月3日消息，中國科學院院士，上海華科智谷人工智能研究院院長何積豐近期在2024Bilibili超級科學晚活動上發表主題爲《普通人如何使用AI大模型》的演講。
何積豐院士表示，自1956年提出 AI 概念以來，AI 技術迎來了AI第一段發展期——反思發展期——第二次發展高潮——AlphaGo引發全民 AI 熱潮階段。
隨著科技發展，如今，AI 早就深入到我們生活的各個領域，但它也有正、反兩面。
據統計，80%的職業將至少有一項工作暴露于AI，還有19%的人士認爲，一半以上工作都可以AI來做，比如企業行銷工作、軟件設計、音樂設計等工作，AI 正在取代人類的工作和職業。
何積豐認爲，我們應該擁抱 AI 技術，適應 AI 技術發展，提倡要不斷學習，包括要專精自己的優勢跟專業領域，不斷提高自己的專業水平；同時要要思考如何把AI應用到自己的專業裏面，提高自己的産出跟效率；此外，也要不斷吸收新的信息，擁抱新的變化，接觸更多的人，拓展自己的視野。
何積豐，1943年8月5日出生于上海市，計算機軟件專家，中國科學院院士，上海華科智谷人工智能研究院院長，原華東師範大學軟件學院院長、教授、博士生導師。
何積豐從複旦大學數學系畢業，並被分配到華東師範大學工作，先後擔任教授、博士生導師；1980年被派往美國舊金山大學進修；1984年在英國牛津大學計算機實驗室任客座教授、高級研究員；1998年擔任聯合國大學國際軟件技術研究所高級研究員；
2001年擔任華東師範大學軟件學院院長；2002年成爲華東師範大學首批終身教授；2005年當選中國科學院院士；2010年被英國約克大學授予榮譽博士學位；2016年受聘爲華東師範大學計算機科學與軟件工程學院院長。2019年受聘爲同濟大學特聘教授，入職同濟大學交通運輸工程學院。
“目前AI的安全工作主要還是集中在發現問題，還沒有解決問題的全部答案”， 何積豐早前表示，大模型開啓了真正意義上的AI，大模型的通用能力讓其能夠應用到人類生産生活的各個場景中，而一旦AI出現安全問題，其影響將難以預估。
以隱私問題爲例，何積豐稱，大模型時代的隱私問題跟傳統的機器學習是有差別的，
一是大模型在訓練過程中，涉及大量用戶個人信息和數據；
二是使用過程中涉及很多用戶私密信息，這些信息沒有受到應有的隱私保護，用戶在使用時面臨“要麽失去隱私、要麽失去服務”的選擇；
三是大模型的生成能力讓隱私泄露變得更加容易也更加多樣化，隱私保護變得更加困難。
“AI 就像孫悟空，需要唐僧的緊箍咒保證其不任意使用他的能力去闖禍、胡作非爲，”何積豐曾指出，對齊就是控制 AI 安全的核心技術，對齊是指系統的目標和人類價值觀一致，使其符合設計者的利益和預期，不會産生意外的有害後果。
何積豐以機器人爲例，機器人學的第一定律就是不得傷害人類或因不作爲使人類受到傷害。
何積豐強調，在 AI 發展過程中，千萬不要忘記人類的核心角色，“AI技術是我們的助手，而不是代替人類創造新世界的未來。”
“我們應該以開放的心態擁抱變化，相信AI技術會給我們帶來更加美好的未來。”何積豐稱。
以下是何積豐演講內容，經钛媒體AGI整理 ：
前段時間，隨著諾貝爾獎的評選結果公布，備受關注的三大科學獎項裏面，其中有兩個都跟 AI 技術相關。
下面我們想跟大家講講三個跟 AI 相關的話題。
第一個話題就是說前面這個六十多年 AI 是怎麽發展過來的；
第二個跟大家分享一下 AI 對我們的工作生活的影響。
最後我們也展望 AI 的未來。
AI 成爲大家熱議的話題，但實際上，大家知道 AI 並不是今天才有的概念。20世紀50年代，隨著計算機的出現以後，人們開始去探討如何讓計算機表現的更加像人類。
這句話聽起來很怪，什麽叫更加像人類？
在1956年，一群技術科學家組織一個夏季討論班，他們共同探討了怎麽用機器來模仿人類的智能的可能性，也在曆史上第一次提出了AI這個概念。
在上世紀六十多歲年代，AI的主要研究什麽內容呢？他研究我們所謂的專家系統，人自然源的處理圖像處理。
到1962年，世界上第一個聊天機器人——醫療機器人誕生，它主要功能是什麽呢？它能夠模擬一個心理醫生怎麽跟病人進行對話的。這個程序很簡單，總共前後才兩百行的代碼，但是實際上是開啓了“人機對話”這個序幕。
到上世紀70年代，我們稱爲是AI的反思發展期。當時因爲計算機內存比較有限，計算速度也受到一定影響。所以它不足以解決任何實際上的我們需要它解決的問題。表現在在研究成果上的發展是比較慢的，整個的進展也是不如我們人意的。
到80年代，AI才進入了所謂第二次發展高潮，主要原因是，有大量的資金投入到這個領域。
1984年有個項目叫CYC，他做什麽事情呢？他是個超級百科全書一個項目它主要功能是什麽？就把人類制造所有的常識都放到計算機裏面。你要問什麽問題，在網上給你一個回答，這是一個巨型的數據庫。
到本世紀2016年3月，阿爾法狗（AlphaGo）對戰世界圍棋冠軍，並且以4比1的總比分取得勝利。因此，這時AI 真是被普通老百姓所知道了，原來這個 AI 那麽厲害，從此 AI 熱潮就被掀起了。
而現在，隨著我們的科技發展，AI 早就深入到我們生活的各個領域了，爲我們帶來一個前所未有的便利和驚喜。
然後跟任何一個硬幣一樣，它是正、反兩面。
AI對我們人類生活的影響應該是複雜的，而且有多個維度的。下面我們跟大家分享一下，他給我們工作跟生活帶來什麽。
在工作上，我們會慢慢發現，那些過去例行性的任務變得更加次要，因爲AI 機器能夠幫助我們做很多事。比如說，你跟客戶在這個電話線上互動，數據分析，資料收集跟檢索、文書書寫這些工作完全可以通過AI來完成，它比我們做的快的多。
近期關于這個AI的應用，有個研究方面的論文提供了一個非常有趣的結果。這個論文研究的重點是什麽呢？他討論了2087個所謂工序。
什麽叫工序呢？是我們通常講的每個工作任務中間最小單元。
通常每一個工作任務，它是有很多工序組成的。比如說你要說讓領導做個決策，那麽做決策那麽大的工作，我們需要通過首先要熟悉信息，然後要比較不同的優化的指標，看看哪個是我當前最關心的，那麽多工序組成一個工種。
經過人類跟AI的評價，如果有項工序用AI做，在質量不變情況下能夠減少50%以上的時間的話。那麽我們認爲這工作AI就可以來替代人類做——我們把它稱爲“暴露于 AI”，我們做了一個統計，80%的職業將至少有一項工作暴露于AI。
還有19%的人士認爲，一半以上工作都可以AI來做，比如企業行銷工作、軟件設計工作等等。如果你做一般産品的設計，我們相信，AI技術能夠減少研究跟設計時間，改進産品的模擬跟測試。
很顯然，AI 對我們很多行業是很有成就的。有了AI的加速以後，大家工作肯定會比過去有更大的改善。
首先體現出來就是，我們工作效率會比過去高了，很多人會慢慢發現我們以前想做的和過去做不到的事情，現在突然之間，AI 可以幫我們實現很多夢寐以求的事情。
同樣，許多我們掌握的技能在AI的加持下面也可以更好的派上用處。而這時候，我們可以花更多的時間專注于更加高層次的規劃與工作。
換句話說，不是說你沒事情幹了，要幹事情的這個水平比過去要難很多了。
由此可見，未來職場將會更加發揮發現跟解決問題的能力，創造力以及批判性的思維，還有主動學習和獲取新技能能力，這也是我們對于現在教育提的一個希望。
除了剛才我們講的工作方面例子以外，我們下面就講一些過去我們有部分人認爲重複性、密集性工作是AI比較容易完成的。但如果你要做創造，如說娛樂生活裏面，AI可能就不能達到我們的預期了。
不過，實際情況往往是相反，AI對視頻音樂社交等人類情感創意性的工作也是早早就超乎我們能不能想象。生成式 AI 大模型的産生，在視頻音樂類應用領域風生水起。
通過深度學習和大數據分析等技術，AI 能夠爲我們客戶提供很多個性化的內容推薦。不管是音樂也好，電影也好，都能夠根據用戶的愛好實現什麽精准匹配了。
首先，AI在我們的音樂創作中也表現出巨大的潛力，不僅能夠創造我們常見的流行音樂，還能夠探索全新的音樂風格。
同時，AI通過我們社交的軟件，實現了客戶感興趣的精准推薦和社交互動的智能優化。
另外，AI在視頻制作上同樣大放異彩，從智能的堅持到情感分析，AI技術都爲影視行業注入新的活力。
實際上，AI也早就不再是科學家的專屬領域，它已經悄然走入了我們千家萬戶。普通人都可以通過了AI，讓我們生活變得更加有智能、更便捷。
比如，我們可以給自己家裏打造一個智能的生態裏面，把家裏的燈光、空調、窗簾、音響等家居設備一網打盡，構成一個智能的物聯網。我們用的手機其他的智能系統就是這個生態系統裏面的大腦。
這樣結果使得生活裏面的一切，都能通過一鍵創作就能輕松實現了，我們的生活因此變得更加便捷、更舒適。
未來會怎麽樣？
我們相信，AI 將繼續發揮它巨大的潛力，成爲引領科技進步和社會變革的關鍵力量。
隨著大型語言模型，如ChatGPT的不斷發展，未來 AI 將不再局限于特定任務，而且能夠像人類一樣處理多種複雜任務，還能夠具備那種自我學習更深入的能力。
針對這樣的一個發展的趨勢，我們應該怎麽辦？AI 會進入生活到我們各行各業，推動産業的升級跟轉型，這是一個趨勢。我們看到，在醫療也好，教育也好，金融交通領域，AI 將發揮越來越大的作用，提升了服務質量和效率。
那麽在AI時代，我們該做些什麽呢？我們這裏提了這樣一些想法給大家做參考。
我們要提倡，就是要繼續持續的學習。
第一、我們要專精自己的優勢跟專業領域，不斷提高自己的專業水平。
第二，我們要思考如何把AI應用到自己的專業裏面，提高自己的産出跟效率。
第三，我們要不斷吸收新的信息，擁抱新的變化，拓展自己的視野。我們要接觸更多的人，跟行業思考，能夠跟自己對照出什麽新的火花。
最後，我們應該以開放的心態擁抱變化，相信未來技術會給我們帶來更加美好的未來。---[钛媒體/作者 : 林志佳，編輯 : 胡潤峰｜钛媒體AGI]
