ChatGPT是否能理解邏輯本身？
險峰：這個話題本來是後面的，正好提到了就提前探討一下。
現在很多人會覺得ChatGPT很酷、很有邏輯，但有的時候也會覺得它在一本正經的胡說八道，有些很簡單的問題它會答錯，這件事反過來也會讓大家好奇，ChatGPT是否真的具有邏輯？或者說理解邏輯？
對此，也有兩派觀點，一派是覺得極致的模擬就可以實現邏輯，雖然只是基於統計學，但看起來有邏輯其實就等於邏輯本身；另一派覺得所有模擬都只能得到大概的正確，最後還是要建立在極其精準的規則之上，兩派的分歧可能就是統計和規則的區別。
此外還有第三種觀點，借鑑了生物組織的複雜性來解釋這個問題，比如蟻群，單獨一隻螞蟻可能不知道自己在幹什麼，但是一個蟻群就可以做很多複雜的事情，這兩者也類似於神經元和大腦的關係，對這個問題也想聽聽幾位的思考。
黃東旭：先說一個外部視角，我最近一直在用ChatGPT寫代碼，可能是玩的確實太多了，基本沒有遇到AI胡說八道的情況；個人觀點，很多人覺得它不准有兩種情況，一種是問題沒問對，如果問題本身是模糊的，它給出的答案也會是模糊的，比如一些開放式的問題。
第二是它有些回答不一定是假的，只是中間跳過了很多步驟，比如一個問題，需要從A到B再到C依次推理，其實每一步都會有一些假設，但如果某個假設錯了，答案也會出問題。
所以我們內部在使用時，會不停地教ChatGPT如何思考，跟教小朋友一樣，他回答錯了就跟他說，你要不再讀一遍題目？或者直接問他——那你覺得這個問題應該如何提問？最後你會發現，只要你把你想要的思考方法教給他，他回答的準確率會非常高。
注意，在這個過程里，我們並沒有向它提供任何的信息增量，所以我覺得ChatGPT已經超越了一個傳統意義上的語言統計模型，絕對不是單純的鸚鵡學舌，但我也不知道它為什麼會有這個能力。
陶芳波：我也簡單說一下我的看法。我觀察到一個現象，在GPT3出來之後，特別是今年ChatGPT出來之後，很多AI領域非常資深的人都在激烈地反對大模型。
我曾經也有這樣的心態，覺得這個東西也許就只是一個統計模型，解決不了人類的終極問題。但是現在我認為，這樣的思想說嚴重點，就屬於是「舊時代的餘孽」，當然這句話是自嘲的，因為我曾經就是舊時代的餘孽，但今天我選擇去擁抱他。
因為對於人工智能，我們永遠都可以從「它在某某事情上做得還不夠好」來批評它。但是如果我們回過頭來想一下，一個人如果只有大腦，我們的邏輯能力又有多強？
人的所謂邏輯能力，說到底也無非是通過直覺，跳過兩三步來推演出一個結果，如果真到了六步七步的推理，我們光靠一個大腦也解決不了，也需要草稿紙和計算器，換句話說，人類也是要通過外部工具來增強邏輯能力的。
從這個角度講，今天ChatGPT所湧現出來的邏輯能力和人是其實差不多的。
但是大家低估了一個東西，如果用發展的眼光再往前推一步，你覺得OpenAI下一步會做什麼？微軟下一步會做什麼？一件非常可能的事，是他們會把ChatGPT跟各種各樣的工具結合起來。
那時，ChatGPT完全可以把這些工具變成自己的「草稿紙和計算器」，他自己只完成邏輯的部分即可。
所以，我們其實可以把ChatGPT當做是一個非常穩定的原始大腦，未來他還將去學習使用工具，那時他所具有的能力會比今天大得多，這將是一個非常有想象力的未來。
費良宏：非常認同陶博士，前幾天看到LeCun在推特上跟人論戰，談ChatGPT對於AI的影響，我也有同樣的感覺，就是可能很多人對ChatGPT的判斷太拘泥於以往的經驗了，還是把它當做是GPT3或者GPT2。
比如OpenAI在發表ChatGPT的那篇論文中，專門提到他們使用了人類反饋的強化學習，去彌補堆砌資料造成的一些不足。所以某種程度來講，ChatGPT的邏輯不僅僅是來自於文本的訓練，還來自於人類給它的主觀反饋，我們利用這種獎勵機制，讓AI產生一種內部的自我判斷能力。
我覺得這是一種非常巧妙的進步，相當於把強化學習跟大模型結合在了一起。今天可能我們的資源投入還比較有限，讓ChatGPT不足以解決更廣義上的所有問題，但未來如果我們的投入足夠大，強化學習的引入程度足夠高，機制設計得足夠巧妙，會不會結果也將遠遠超出我們今天的預期？
不過，這也引出了另外一個問題，就是關於ChatGPT傾向性的爭論。隨着人類用越來越多的反饋干預了它的判斷，那會不會讓ChatGPT帶有某種思潮，比如說政治傾向，最近我看到國外有一些人對它進行測試，發現它在政治上並不是完全中立的，是一個左翼的自由派環保主義者。
從這個角度出發，我認為ChatGPT是具有邏輯的，因為這個邏輯是由人賦予他的，也是人自身所存在的，這是我的看法。
龍波：當一個非常有衝擊性的產品出來後，人的觀念很容易受到衝擊，但這裡還是要看一些根本問題是否發生了改變，這個話題涉及到一些更深刻的東西，即我們如何理解統計模型？
比如大家都提到，ChatGPT反饋模型的提高，這是一定的，因為你給了它更多的統計數據，不論是用AI的方法，還是傳統方法，模型都會提高，LeCun也談到過這個問題，他並不是反對統計模型本身，他只是想說，如果我們要創造真正的通用人工智能，僅僅靠統計模型就夠了嗎？
統計模型應用在人工智能領域已經幾十年了，到深度學習神經網絡達到高點，但是我們想一下，人的認知是純粹基於統計的嗎？我們每個人都知道，太陽從東邊升起，這是我們每天都看到的，100%的概率，這是統計學上的認知，但是我們沒有停留在這一點，我們最終理解了行星之間的相互作用力，從物理學的角度解釋了這個現象。
所以人類認知的本質是什麼，我們對此的認知也還不夠透徹，我覺得大師們是想說，統計模型之外，還有什麼東西讓機器能更接於近人？這個問題其實沒有答案，他想表達的是一種open的心態，即統計模型不能解決一切，它甚至都沒解決我們自己認知的問題。
為什麼谷歌沒能做出ChatGPT？
險峰：剛才大家都提到了transformer，它其實是由谷歌發表出來的，但今天做出ChatGPT的卻是微軟系的OpenAI，各位覺得這背後的原因是什麼？
龍波：確實很多人都有這個疑問，但其實到今天我依然認為，谷歌在技術上是非常領先的，ChatGPT最關鍵的核心模型起點，無論是transformer，還是後來的bert，這些概念都是谷歌首先提出來的。
我們知道微軟在算力方面給了ChatGPT很大幫助，但谷歌自己的TPU研發能力也非常強大，谷歌不缺算力，更不缺數據，但正因為如此，大公司要做出這種創新性很大的產品，注意我是說產品，一般都會被自己的優勢束縛住手腳。
首先谷歌是一個搜索引擎巨頭，它對此非常自信，這反而讓它對其他系統的投入和關注都不夠，在我看來，谷歌被ChatGPT反超其實是有先兆的。
比如語音助手，坦白說谷歌的產品是不如亞馬遜和Siri的，像Google Assistant ，採用的依然是搜索引擎的用戶界面，你給它搜索詞，它就給你最高質量的回答，強調的還是單次交互，這種觀念已經深入產品的設計之中，我覺得在互動體驗上谷歌的投入是不足的。
但這並不是說谷歌技術不行，我有不少前同事就在谷歌research工作，他們的技術發展得非常好、非常成熟，他們有最好的資源可以從事研究，但是他們認為搜索是他們最重要的產品，他們會下意識的用搜索的觀念去做一些新產品，對用戶的交互式體驗本身就沒有那麼注重，這是我從產品角度的觀察。
費良宏：這個話題讓我想到一段商業史故事。世界上第一台數碼相機，是一名叫史蒂夫薩森的工程師在1975年發明的，他後來被稱為」數碼相機之父」，但是當時，他是一名柯達公司的員工。
後來據他回憶，這是一次前所未有的嘗試，「公司內的反之強烈超出了他的想象」，結果38年之後，由於數碼相機的崛起，傳統膠片時代的王者柯達公司破產，我覺得回顧歷史，跟今天也有非常相似的地方。
今天整個搜索市場，谷歌占了96%，微軟只有3%，但因為ChatGPT的出現，微軟很可能也會顛覆搜索領域的格局，而谷歌空有技術卻沒有做出這個產品，我覺得可見一斑，歷史總是驚人的相似。
黃東旭：這是件特別有意思的事情，因為以前扮演這個顛覆者的，其實是Google自己。
2000年的時候，雅虎的地位就和今天的Google一樣，當時雅虎的搜索引擎走的是人工標註路線，說你看我人工標註的黃頁多準確，而Google是當時幾個大學生搞出來的，結果歷史又一次重演。
如果拋開數據量和算力這些硬性限制，只去看裡面最核心的代碼量，其實就是一個小團隊就能寫出來的。一家巨頭再次被一家小公司打敗，我覺得這就是軟件行業有意思的地方，一個非常硅谷的故事。
開源圈和雲計算巨頭是如何看待ChatGPT的？
險峰：谷歌的早期模型都是開源的，但ChatGPT卻選擇了閉源，結果在2個月內用戶破億，東旭對此怎麼看，ChatGPT的選擇對於後來者是否有參考價值？
黃東旭：我覺得ChatGPT的成功，並不在於開源或閉源，而是它向整個業界證明了某種技術的可行性，其實開源的工具一直都在，關鍵是有沒有人會拿出幾千萬美金去做這些東西，對此我是比較樂觀的，據我所知已經有一些開源項目在做和ChatGPT差不多的事情，未來很短的時間之內，一定會出現一個開源的通用語言大模型。
它可能沒有ChatGPT那麼強，但是也會大致夠用，甚至可能是一個通識模型，你可以把它裝載到自己的系統裡面去，跟它一起去協作，我覺得很快就會有人沿着ChatGPT的路線，做出可以私有化部署的開源大模型，可能會是一個大廠或者一個foundation，每隔半年change一次，然後大家下載下來用。
險峰：雲計算大廠們怎麼看ChatGPT？
費良宏：AI的商業化主要是SaaS化，之前有很多成功案例了。另外從技術角度來看，AI的推理能力API化也已經是一種標準做法，比如在雲上部署一個推理服務器，讓前端用戶可以非常快速地獲得圖像語音內容，這兩種模式在雲計算發展的歷史上已經被證明是完全可行的。
接下來的關鍵就是如何差異化的大模型，我個人認為，我們可能低估計了ChatGPT的工程化難度，比如說並行訓練、標註以及數據管理的工作量和成本開銷，都會是非常巨大的，所以我不認為在短時間內，會有大量能完全媲美ChatGPT的競品出現。
當然，下一步還是有很多人會去做與ChatGPT類似的事情，但是我認為時間上可能會比較久，這其中，我個人比較看好谷歌和微軟，因為他們之前的積累已經有足夠多。
其實剛才也談到了微軟的問題，雖然微軟只是給ChatGPT投了錢，技術上沒有參與，但是從它的布局來看，我覺得微軟其實非常有野心，要知道2019年微軟就開始向OpenAI投錢，第一次就投了10億美元，2020年就跟OpenAI談妥了GPT3的獨家授權，2021年微軟就專門給OpenAI構建了自己的超算能力。
微軟提供的這些工程能力和雲計算能力，足以確保OpenAI繼續保持領先優勢，如果未來任何一個競爭對手想要超越OpenAI，在這些資源上都要加倍付出，甚至要在短時間內實現突破才有可能，但是現在，時間反而是最稀缺的，像之前「學徒巴德」（Apprentice Bard）在谷歌的發布會上「翻車」也說明，互聯網產品的競爭是非常殘酷的，雖然你也能做出來一個差不多的，但只要你不能超越市場中最好的，那就意味着失敗。
陶芳波：我接着這個話題稍微說下，因為我們的業務跟大模型接觸非常多，首先大模型開源這件事不是剛剛開始，其實去年很多公司已經出來了，包括OPT（Meta AI 的開源項目）和BLOOM（法國政府資助的開源AI），但其實它們和ChatGPT的差距非常大。
我覺得OpenAI的競爭力，表現在他們對於數據使用方式的認知，還有剛才費老師提到的工程能力和數據體系，這套東西不是說拿出50億美金，招很多的人馬上就可以解決的，這是現在很多投資人的誤解。
另外，我覺得AI的分層其實在今天就已經開始了，像Sam Altman（OpenAI首席執行官）自己就說過，OpenAI現在就是個Infra，未來在它上面可能會有中間層，這個中間層的作用是幫助一個個大模型Infra變成各個行業里的解決方案。
