2023年險峰線上沙龍的第一期，我們和四位行業大牛聊了聊最近大火的ChatGPT。
首先介紹一下本場嘉賓：陶芳波博士是前Facebook高級研究科學家，回國後進入阿里達摩院，搭建了阿里的神經符號實驗室，屬於全球最頂級的AI科學家之一，目前正在創業，擔任人工智能公司「心識宇宙」的CEO。
黃東旭是險峰的老朋友，「PingCAP」的聯合創始人兼CTO，他本人是國內最早一批開源數據庫的創業者，在程序員圈子裡非常活躍；PingCAP也是目前Infra領域估值最高的科技公司之一，險峰曾在天使輪分別投資了PingCAP和心識宇宙。
費良宏老師是AWS的首席架構師，曾供職於微軟、蘋果等多家硅谷巨頭擔任技術顧問，在雲計算行業里深耕多年；龍波博士目前擔任Meta商業化AI研究團隊的負責人，之前曾深度參與過京東搜索推薦算法的搭建。
此次圓桌由險峰長青投資副總裁李抗主持，李抗主要專注於人工智能、機器人、雲計算等方向的投資。
本次我們將聊到：
ChatGPT 效果如此「炸裂」，AI從業者們事先是否預見到了？
ChatGPT 是否能理解語言邏輯本身？
為什麼谷歌沒能做出 ChatGPT？
開源圈和雲計算巨頭是如何看待 ChatGPT的？
ChatGPT 能讓TMT投資人「再干15年」嗎？
ChatGPT 正在對哪些工作崗位造成影響？
ChatGPT 廣泛使用後，人的認知能力會下降嗎？
ChatGPT 會導致哪些行業消失？哪些公司急需轉型？
小公司如何抓住 ChatGPT 的逆襲機會？
硅谷現在如何看待 ChatGPT？
普通人如何擁抱 ChatGPT ？報考計算機專業還有前途嗎？
OpenAI的組織設計給創業者帶來哪些啟示？
ChatGPT效果如此「炸裂」，AI從業者們是否預見到了？
險峰：去年AI作畫也火過一陣，但都沒能像ChatGPT一樣讓普通人感到震撼，似乎是一夜之間，AI就達到了一個如此炸裂的效果，基於各位對NLP與AIGC的理解，這種進步是在意料之中還是意料之外？
陶芳波：剛才主持人已經介紹過我的背景，我本人從讀博士到後來工作創業，一直在從事AI相關的科研工作，但坦白來說，這次ChatGPT給我帶來的震撼，並不亞於屏幕前的每個人。
傳統上，越複雜的技術，信息壁壘也越高，所以過去的情況往往是，行業內的人都已經知道技術發展到了什麼水平，但大眾可能還不知道；而ChatGPT完全不是這樣，它剛剛誕生3個月，我們就看到無論巨頭大廠還是AI科學家們，都馬上進入了一種非常緊張的應對狀態，甚至可以說是應激狀態。ChatGPT突然具有了這麼強大的通用性能力和邏輯推理能力，是超出很多AI從業者設想的。
為什麼這件事會發生？我僅從個人角度做一個簡單的總結。
第一，是大數據和大算力的發展，這是一個基礎。2012年深度學習剛剛誕生的時候，大家就嘗試把更多的算力和數據灌輸到一個模型中去，讓AI具有更強的能力，這個邏輯在今天依然沒有變化。
我們知道人腦要比動物的大腦更聰明，兩者最直觀的差別，是人腦的神經元和神經突觸更多，比如人腦的神經元有1000億，神經突觸可能有幾萬億，今天ChatGPT可以達到上千億的參數量，已經跟人腦比較接近了，量變才有可能引發質變，AI的發展首先要靠算力數據的指數級發展。
第二，是在人工智能的發展背後，其實一直有「專用人工智能」和「通用人工智能」的兩派觀點的爭論。
以前我們熟悉的人工智能，比如計算機視覺算法和自然語言算法，都屬於「專用人工智能」。而在他們以外，其實一直有另一撥人在嘗試，有沒有可能把單個的專項AI變成一個通用AI？用一個統一的大模型來解決所有的問題？
這裡面有幾個關鍵性的節點，首先是2017年，谷歌大腦（Google brain）發表了一篇關於transformer的文章，奠定了包括今天ChatGPT所有技術的基礎，細節這裡不展開了——總之它讓很多人意識到，通用型AI是有可能被造出來的。
對此，谷歌的做法是首先搞一個底座，這個底座叫做「預訓練大模型」，然後不斷向底座里灌輸數據，讓它上面能長出一個個小模型來，再用這些小模型去解決不同的任務。
這時出現了一家公司叫OpenAI，他說我不相信仍然需要訓練小模型來造出通用AI，那我能不能直接讓大模型去閱讀互聯網上所有的數據？砍掉中間環節，直接讓人用語言去和大模型交流？
基於這種思想，OpenAI在2018和2019年，分別推出了GPT1和GPT2，但當時它的通用性還不強，沒有引起太多關注，然而到2020年，第三代也就是GPT3出現了。
GPT3直接把模型參數量從15億提升到1,750億，接近了人腦中神經連接的數量水平，這時一個神奇的事情就發生了，AI開始「湧現」出了一些人腦獨特的能力，甚至出現了邏輯判斷能力，這在以前的機器學習界是不存在的，我甚至覺得連OpenAI內部都不一定能預判到這件事情會發生。
而這個GPT3，就是今天ChatGPT誕生的起點，正是因為GPT3的出現，大家才開始去基於它去開發一些全新的AI能力。
可以這麼說，從2020年的GPT3開始，整個AI行業都進入到了下一代範式，至於它的邊界在哪裡，大家都不知道，沒有人有足夠的認知。
這也是我想講的第三點，就是OpenAI之所以能超越於谷歌，是他們真的在嘗試理解「學習」這件事的本質。
早期的AI要靠人工打標籤，要一個活人坐在屏幕前告訴機器——這是一隻貓，這是一隻狗；之後發展到GPT3，這時已經不用再打標，而是讓機器直接去閱讀大量的數據，看它能不能找出裡面蘊含的規律和規則。
在這個基礎上，OpenAI又進一步，他們說既然AI已經學了這麼多知識，那下一步就是怎麼把這些知識輸出來，變成人可以用的東西；於是OpenAI開始教大模型如何自我改造，更好的去解答人類提出的指令，而後甚至演化成AI自我對抗一個人類制定的判斷標準，完成AI的「社會化改造」，到2022年，ChatGPT橫空出世了。
剛才東旭提到，他現在每天都用ChatGPT幫自己寫代碼，代碼其實比自然語言更有邏輯性，站在AI的視角，等於你也是在幫它培養邏輯能力。
如果說GPT3還在無目的數據中學習，到了ChatGPT就已經變成了「在應用中學習」。整個過程真的很像一個年輕人走出校園，進入到公司中實習的感覺。
所以我們可以看到，OpenAI一直在探索人類學習的本質是什麼，當他們把這一整套工業化的體系和自己對AI的超前認知整合到一起，就創造出了ChatGPT，這時候所有人才發現，原來我們已經落後了OpenAI這麼多，我們還在模仿人家2020年的GPT3版本。
所以ChatGPT不僅對普通人是震撼，對大公司來說更是震撼，我們必須去面對這個全新的現實，思考該怎樣迎接這樣一個新物種的出現，以及未來人類分工的變化。
費良宏：我補充兩句，今天我們看到市場一夜間被引爆，但背後絕不是一日之功。
首先是2017年transformer那篇論文，將整個NLP市場完全被顛覆了。以前很長一段時間裡，大家都覺得非精確的模糊化語義很難被突破，但transformer出現之後，一下把NLP精度提升到了無法想象的量級。這時所有人的研究方向全部都開始轉向了transformer，這是一個里程碑式的改變，我覺得怎麼樣去夸它都不為過。
第二個是算力，剛才陶博士也提到，最早的時候我們自己搞一台電腦，裝上1080Ti都可以跑一些模型，但今天由於參數提升，千億級規模的算力已經不是普通人能參與的，也許真的是大力出奇蹟，誕生了ChatGPT，那麼未來延續着這條路，不斷堆積數據量，增加模型的數量，比如據說GPT3使用了45PB的數據量，未來是不是可以用100PB數量、萬億級參數甚至更大規模的算力？或許真能誕生出一個非常強大的通用型AI，對此我是比較樂觀的。
龍波：我對於ChatGPT的出現並不特別驚訝，準確的說，是對它的效果不驚訝，但是速度上我還是挺驚訝的，沒想到會來的這麼快。
剛才幾位都談到了一個重要的點，即transformer的里程碑作用，這裡我想從NLP的角度分享一下，為什麼它是里程碑？
從NLP發展的邏輯來看，最早的NLP模型是基於對單個單詞統計來做的，到後來卷積網絡（CNN）出現，機器開始能夠基於兩三個單詞來理解詞義；再往下發展到RNN時代，這時AI基本上就可以沿着整個sequence進行積累，可以理解相對長的短語和句子，不過依然還無法真正理解上下文。
隨後一個很重要的突破，是「注意力機制」（attention model）被提出，其實transformer的核心概念也是來自於此；在這個階段，AI開始能夠結合所有上下文，理解每個詞之間表達重要性的不同。
這就很像我們的快速閱讀，為什麼人類能夠做到「一目十行」，是因為我們能看到一些關鍵詞，而每個詞的重要性不一樣。
「注意力機制」正是起到了這個作用，它告訴AI各個關鍵詞之間的關係如何，誰重要誰不重要。整個行業再往後就是transformer誕生，然後Bert（Bidirectional Encoder Representations from Transformers）誕生，其實Bert也非常重要，就像陶博士剛才提到的，Bert可以使用大量沒有標註的數據，自己創建一些簡單任務來做self learning。
舉個例子，比如一句話，AI會把其中的一個詞藏起來，然後猜這個詞應該是什麼，有點像機器自己和自己玩遊戲，如此它的語言理解能力就變得越來越強——我覺得到了這個時間點上，當AI開始利用大量非標註數據完成自主訓練，ChatGPT的出現就只是個時間問題了。
但是這也是它的局限性，ChatGPT無論如何驚艷，它仍然是個統計語言模型，本質還是基於它所看到過所有數據，用統計意義上的預測結果進行下一步輸出，當它拿到的數據里有邏輯的時候，它會通過統計的方法把邏輯找出來，讓你感覺到它的回答很有邏輯，但假如它讀了很多雜亂無章的文本，它一樣會說話沒有邏輯，這是統計語言模型天生的缺陷。
所以我並不確定，未來隨着參數越來越多，ChatGPT能否真正成為AGI（通用人工智能）？因為人的推理能力並不完全基於統計信號，這是我個人比較保守的看法。
