從AI繪畫的出圈，到如今OpenAI公司的ChatGPT的火爆，人工智能發展史上一個新的里程碑驚現於世。
據公開資料報道，ChatGPT上線5天就獲得了100萬用戶，不到兩個月就突破1億月活用戶。而此前，iPhone獲得100萬用戶的時間為74天，TikTok實現1億月活用戶的時間為9個月。可見，ChatGPT的「吸粉」能力非同一般。
與此同時，ChatGPT也給資本市場掀起了一陣海浪。據公開媒體報道，微軟將在此前先後投資OpenAI公司30億美元的基礎上，再追加100億美元投資；谷歌將出資3億美元收購OpenAI公司前雇員的初創公司Anthropic的競品Claude；有美國版「今日頭條」之稱的BuzzFeed公司在官宣準備引入ChatGPT作為內容生產工具後股價立即飆升……當國內眾多公司宣布正在或準備入局ChatGPT的競品研發與應用時，國內A股市場一陣狂歡。
與一般的面向客服QA問答和專業任務型智能聊天機器人不同，ChatGPT可以根據人們的「提示」進行詩歌創作、問題探討、報告撰寫、提綱設計、摘要歸納、論文寫作和代碼編寫，甚至可用於參加各類考試。因其面向開放領域、可連續式問答、良好的用戶體驗和看似無所不能的能力，火速成為政產學研等各領域各行業的街巷熱議，以至於微軟創始人比爾∙蓋茨把ChatGPT出現的意義與當年的PC和互聯網相提並論。
作為一款人工智能聊天機器人，ChatGPT何以能成為人工智能發展以來的「流量爆款」？它為人工智能之路昭示了出什麼樣的方向，又帶給我們怎樣的啟發？本文將圍繞ChatGPT的出發點、生成式AI、人工智能算法框架技術演進、預訓練大模型PLM、人工智能內容生成AIGC進行討論，希望給讀者以有益的啟發。
01 出發點：ChatGPT的第一性原理思維
什麼是第一性原理思維？
簡單來說就是回歸本質，再進行重構。從第一性原理思維角度來看，就像PC、互聯網、智能手機、移動互聯網的演進路線一樣，人工智能只有走向通用人工智能AGI，才有可能成為人們工作和生活過程中不可或缺的一部分，也才會產生真正的變革。反過來，也才會促進與加速人工智能的發展，「人工智障」才有可能徹底改變。
如今，以人工智能技術、機器人技術、虛擬現實技術、量子信息技術、可控核聚變、清潔能源以及生物技術為突破口的第四次工業革命已經到來，人類社會已進入到一個萬物互聯的智能時代，機器將具有感知、判斷和推理能力，將自行產生知識，從而增強和替代人類知識，將人從腦力勞動中解決出來。從第一性原理思維角度看，幾次工業革命演進的本質是機器逐漸取代人力，包括體力和腦力，從而不斷提高社會生產效率和社會生產力，直到最終部分或全部取代人。
自上世紀50年代中期，人工智能的發展幾經高漲與低落。最近十年，隨着大數據、雲計算以及基於神經網絡的深度學習的發展，特別是以2016年穀歌旗下DeepMind公司的阿爾法狗（AlphaGo）戰勝韓國圍棋九段棋手李世石事件為標誌，人工智能又迎來一個突飛猛進的春天。圖像識別、人臉識別、視覺計算和自然語言處理等人工智能技術與產品如雨後春筍般湧現，廣泛應用於智能客服、推薦系統、智能風控、智能診斷和異常檢測等各領域各行業。
然而，與這些通過預設的算法或訓練解決特定問題、只對某一方面有自動化專業能力的專用人工智能如火如荼的發展境遇不同，具有人類思維水平及心理結構的全面性智能化的通用人工智能AGI一直未能有喜人的進步。「人工智障」一直是對此前專用人工智能發展的揶揄。
究其原因，主要有三：一是專用人工智能的應用仍然居「廟堂之高」，類似互聯網的早期，只是專業人士手中的「炫技」，未能飛尋常百姓手中；二是人機交互體驗不友好，往往需要一定的專業技能才能操作；三是固化的「智能」，迭代升級成本高昂，缺乏像人類一樣的自學習與思考。
人工智能只有走向通用人工智能AGI，才會產生真正的變革，促進與加速人工智能的發展。無疑，ChatGPT很好地把握了這一點。
首先，ChatGPT面向開放領域，不囿於某一專業領域，可進行詩歌創作、問題探討、報告撰寫、提綱設計、摘要歸納、論文寫作和代碼編寫，初步具有一定級別的人類思維水平，具有參加MBA、法律、醫學等各種專業考試能力，看似上知天文、下通地理、無所不能，類似「知識百科」。隨着應用的不斷深入以及不斷從人類反饋中學習，ChatGPT將不斷接近直至達到人類思維水平。正如OpenAI公司創始人兼首席執行官山姆·阿爾特（Sam Altman）在今年1月中旬接受《福布斯》採訪時表示：「AGI是驅動我所有行動的推動力」。可見，ChatGPT只是通往通用人工智能AGI之路的起點。
其次，ChatGPT很好地選擇了以自然語言作為人機交互界面，用戶只需輸入「提示」就能得到「答覆」，而不需要操作鍵盤和鼠標（互聯網時代的PC）或觸控（移動互聯網時代的智能手機）。良好的用戶體驗極大地消除了產品與使用、機器與人之間的「數字鴻溝」，這便是科技的第一性原理思維。事實上，早在2016年的微軟全球開發者大會上，微軟就提出「對話即平台」CAAP理念。智能時代，人機交互的媒介將是「對話」。
再次，與其他人工智能產品不同，「從人類反饋中強化學習」是ChatGPT獨一無二的創新。首先基於海量的語料數據預訓練出一個語言大模型（GPT-3.5），然後在此基礎上通過少量的人工標註數據對GPT-3.5進行監督學習微調SFT；然後再用幾個SFT模型對無標註數據進行測試，並對多個答覆按好壞程度進行排序並標註（不同模型會給出不同的「答覆」），以此標註數據繼續訓練出一個「獎勵模型」RM（鼓勵模型給出儘可能跟用戶「提示」相匹配的答案，強化模型的一致性）；最後通過獎勵模型RM制定一種稱之為「近端策略優化」 PPO的算法，以持續優化模型參數。其原理示意圖如下圖1所示。
圖1 ChatGPT的RLFH原理示意圖
「第一性原理」是一種思維方法，強調從事情最根本的真理入手，透過事物表象，一層層剝開事物，看到事物的本質。然後再從最本質處一層一層往外進行推理——人工智能造福世人最根本的真理是通用人工智能AGI，而ChatGPT為通往通用人工智能AGI之路開啟了一道門。
02 新範式：生成式AI（Generative AI）
如前文所言，作為一個產品，ChatGPT本質上是一款人工智能聊天機器人。但與一般人工智能聊天機器人不同，ChatGPT走的是第四種技術路線，它是一種生成式模型。從應用的角度來看，人工智能AI可分為判別式/分析式AI和生成式AI，而ChatGPT屬於「生成式AI」。
人工智能聊天機器人的出現已有一段時間了，如亞馬遜的智能聊天機器人Alexa、蘋果公司的Siri、微軟的Cortana、谷歌的Allo及國內其他眾多產品。
從技術路線來看，人工智能聊天機器人可分為四種：基於規則、基於檢索、基於語義解析和基於深度學習的生成模型。其中，基於規則的方法需要由專業人員編寫相應的人工規則；基於檢索的方法則需要事先根據先驗知識編製成對的語料庫，應用時，首先在語料庫中檢索用戶的「提問」，比對「提問」與「提示」（可能得到多個對），然後利用rank模型（語義匹配模型）對「提問」和「回復」進行打分，最後利用打分的結果得到相應的回覆；而基於語義解析的方法，是對每一句話進行深度自然語言處理之後，提取關鍵的語法語義信息，並生成相應的回覆；最後一種是基於海量數據和深度模型的生成方法，根據接收到的輸入（「提問」）生成語料庫中沒有的新文本（「回復」）。
在生成式AI之前，我們耳熟能詳的AI應用如垃圾郵件識別、風控模型、智能推薦（短視頻、網購等）、人臉識別、異常檢測和自動駕駛等等，都屬於判別式/分析式AI應用。判別式/分析式AI是根據已有數據進行分析、判斷、預測，用於輔助決策。例如，如果我們要讓計算機從圖片中識別出狗，我們就先準備一批圖片中有狗的樣本圖片，並標註出一系列可以判斷圖片是狗的要素特徵，如「翹起的耳朵」「渾身長毛」「有尾巴」等，然後選擇機器學習算法，如邏輯回歸、決策樹、樸素貝葉斯、神經網絡等等，也可以是基於深度學習的卷積神經網絡算法CNN或其他，讓計算機對這些樣本數據進行學習，從中摸索出足以判斷某個圖形是狗的規律，以此得到一個判別模型。日後就可以用此判別模型來判斷新的圖片中是否有狗。
而生成式AI更強調學習歸納後進行演繹創造，生成全新的內容。其背後的技術基礎來源於一種稱為「生成式對抗網絡」GAN的思想原理。
生成式對抗網絡GAN也是一種深度學習模型，由著名的深度學習理論專家伊恩·古德費洛（Ian J. Goodfellow）於2014年提出。一個GAN是由一個生成模型G和一個判別模型D構成。生成模型捕捉真實數據樣本的潛在分布，並由潛在分布生成新的數據樣本；判別模型是一個二分類器，判別輸入是真實數據還是生成的樣本。這兩個模型交替訓練，即生成模型不斷學習生成更逼真的數據，判別模型則不斷區分假數據和真實數據。直至判別模型已經無法判別是真還是假，生成模型G便形成。如下圖2所示。
圖2 GAN原理圖
ChatGPT採用這一概念，並將其應用於基本文本的對話，以及創造軟件代碼。它使用GAN生成對輸入文本的響應，使其能夠與人類進行聽起來自然的話，讓它的回答表現得更像一個人。
2021知名調查機構Gartner在2021年高德納IT博覽會上，發布2022年需要探索的十二大重要戰略技術趨勢。其中，生成式AI位列其中。由於生成式AI能從數據中學習內容或對象，並運用數據生成全新的、完全原創的、逼真的設備，本質上是對生產力的大幅度提升和創造。至目前，生成式AI已催生了營銷、設計、建築和內容領域的創造性工作，並開始在生命科學、醫療、製造、材料科學、媒體、娛樂、汽車和航空航天等行業領域進行初步應用。
從判別式/分析式AI向生成式AI演變，已成了AI開發的新範式。
03 新驅動：注意力機制
自然語言處理中常用的一種通用算法框架是編碼器－解碼器網絡。其中，編碼器是將輸入序列「編碼」為一個輸出（向量C），解碼器是將該輸出（向量C）作為輸入「解碼」為一個輸出序列。在這個框架下可以使用不同的算法來解決不同的任務，它們也被應用於摘要和圖像說明生成任務。如下圖3所示。
圖3 編碼器－解碼器網絡示意圖
傳統上，編碼器－解碼器網絡用得比較多的是循環神經網絡RNN——通常是其變種：長短時記憶網絡LSTM或是門控循環單元GRU。不過，基於循環神經網絡RNN的編碼器—解碼器網絡存在三個特點：一是要求輸入序列和輸出序列要等長，二是不論輸入和輸出的長度是什麼，中間的「向量C」的長度都是固定的，三是從序列輸入到序列輸出是「串行」模式，模型訓練效率低。這三個特點對於生成式預訓練大模型建模是缺陷。
例如，對於語言翻譯任務，如將「早上好」翻譯為「Good Morning」，輸入序列長度為3，輸出序列長度為2，顯然第一特點存在缺陷。中間向量C的固定長度對於長序列任務會存在「信息丟失」問題，串行模式導致訓練效率低下。
為適應輸入序列和輸出序列不等長的任務需求，序列對序列模型Seq2Seq應運而生。如字面意思，這種結構最重要的地方在於輸入序列和輸出序列的長度是可變的，如輸入序列長度為3（「早上好」），輸出序列長度為2（「Good Morning」）。不過，Seq2Seq仍然存在中間向量C的長度固定和串行模式兩個缺陷。
直到2017年，谷歌發表「Attention is All You Need」的論文，提出將「Attention」（注意力機制）應用到Seq2Seq中，形成一種新的算法框架「Transformer」（變換器），不再將整個輸入序列編碼為固定長度的中間向量C，而是編碼成一個向量的序列（向量C1，向量C2,……，向量Cn），同時採用於並行模式取代串行模式，從而改進了「信息丟失」和「效率低下」這兩個缺陷，參見下圖4。
圖4 注意力機制原理示意圖
從此，Transformer作為一種新的編碼器－解碼器通用算法框架驅動着各種預訓練大模型如雨後春筍般湧現，如下圖5所示。ChatGPT也由此而來。
圖5 基於Transformer的各種預訓練大模型
04 新模式：預訓練大模型
人工智能包括三要素：數據、算法和算力，三者的共同作用驅動了人工智能算法模型的開發與應用。整體上看，人工智能算法模型的開發模式可分為兩個階段。第一階段是針對特定任務的「小模型」階段。2017年，Transformer的出現，驅動着人工智能算法模型進入預訓練「大模型」階段。
所謂「小模型」，是指模型構建時往往針對一個特定任務，用於訓練的數據量和模型的參數量相對較少，解決任務的能力往往囿於特定任務場景，而對於不同場景的同類任務的泛化應用能力相對較弱，即復用性較差。同時，由於每一次模型的開發都涉及數據採集、數據處理、數據標註、模型訓練、模型部署、數據更新、模型調優等全流程環節，因此，開發效率低，開發和運維成本高。
而預訓練「大模型」，是指最開始時並不針對某一個特定任務，而是在更為廣泛的通用原始數據（無需進行人工標註）上進行無監督學習，得到一個通用基礎模型。應用過程中，再針對特定任務，通過適當少量的人工標註數據進行有監督學習，即微調，以得到解決特定任務的算法模型。同時，通過各類任務的應用反饋再迭代升級基礎通用模型，進一步增強模型的魯棒性和泛化應用能力。如下圖6所示。
附6 預訓練大模型+微調示意圖
相比小模型，預訓練大模型有助於用工程化、通用化思維開發算法模型，從而極大地提高了人工智能算法模型的開發效率。不同於小模型的碎片化，大模型各特定任務之間可通過基礎通用模型進行連接。同時，預訓練大模型的開發、部署和維護成本要低得多。
預訓練大模型的發展趨勢主要在三個維度：數據量越來越大（從GB級向TB級躍遷、從結構化數據為向結構化和非結構化多源數據為主轉變）、模型參數越來越多（千億級和萬億級）、從單任務單模態（或文本或圖像或音頻或視頻）向多任務多模態（文本、圖像、音頻和視頻）轉變。
ChatGPT是基於GPT-3.5這個預訓練大模型並結合「從人類反饋進行強化學習」(RLHF)方法進行微調而來。根據公開資料報道，ChatGPT的模型參數量達到1750億，預訓練數據量達到45TB。訓練素材來自2/3的互聯網內容，包括維基百科的600多萬篇文章和世界幾個大博物館的所有藏書。這些素材包含了人類幾千年來所積攢的絕大部分知識，以此為基礎，ChatGPT成功地構建起了強大的知識體系。也正因此，它逐步開始能夠勝任各種人類工作。
預訓練大模型的出現，將重塑人工智能算法生態鏈。基礎設施即人工智能計算中心（也稱「智算中心」）、預訓練大模型和算法API調用與應用開發將成為新的人工智能算法生態鏈中極為重要的三個層面。以國內為例，目前，作為基礎設施層的智算中心建設正在各地如火如荼地開展；預訓練大模型方面，以阿里（M6大模型）、華為（盤古大模型）、百度（文心大模型）和騰訊（混元大模型）為代表的國內眾多企業都在紛紛入局；而調用接口APT進行應用開發將有助於促進許多中小企業、初創公司快速展開垂直行業應用。新的人工智能算法生態鏈將加速推進人工智能算法的產業化進程。
05 新變革：AIGC將成為新的內容生產者
如前文所述，ChatGPT具有寫詩、作詞、撰文、寫作報告、總結摘要、設計提綱，甚至包括撰寫軟件代碼等能力。通過對人類「提示」的理解，可以生成用戶想要的「文字」材料，即「文本生成文本」。
無獨有偶，「文本生成圖像」也是過去一年人工智能領域一個現象級的技術創新與應用。其標誌性事件是2022年8月份，一幅基於人工智能軟件平台Midjourney生成的「太空歌劇院」的AI繪畫榮獲美國科羅拉多州藝術博覽會頭獎。另外，谷歌公司的「文本生成音頻」產品MusicLM也正在粉墨登場。而在「文本生成視頻」方面，谷歌的Phenaki和Imagen Video、Meta的Make-A-Video、百度的智能視頻合成平台VidPress等文生視頻模型都在紛紛走向台前。
最為震撼的當屬谷歌旗下的DeepMind公司的人工智能產品AlphaFold，它能通過內容生成預測並繪畫蛋白質的摺疊結構。也因如此，「人工智能內容生成」AIGC被《科學》雜誌評為2022年十大技術突破之一。
人類文明發展史，實際上是一部知識內容生成不斷發展的歷史。自1946年第一台電子管計算機的問世，到1958年第一台晶體管計算機的誕生，再到後來大規模和超大規模集成電路的出現，計算技術一直在摩爾定律的驅動下，促進人類知識內容生成的指數級增長。歷經PC互聯和移動互聯，當今正進入萬物互聯時代，人類知識內容的生成與增長進入了一個前所未有的新階段。數據攜帶信息，信息蘊含知識。據公開資料報道，從2016年至2020年五年的時間，全球數據增長量將比過去幾千年人類所積累的數據的總和還要多。
從內容生成的發展階段來看：可以劃分為專家生成內容（如電視、電影和遊戲等）、用戶生成內容（如微信微博、開源社區、短視頻等）、AI 輔助生產內容及 AI 生成內容。其中，PGC 模式下，內容生產和變現的權力掌握在少數人手中，集中程度更高，因此PGC 難以滿足大規模的內容生產需求，即存在產能限制；而UGC模式由於生產者可為用戶本身，因此突破了產能限制，但由於生產門檻相對較低，個性化和多樣化需求繁榮，因此難以保證內容質量；而 AIGC 不僅可突破可PGC模式的產能瓶頸，也可兼顧內容質量的提升，特別是AIGC在圖像和音視頻方面的生成能力，將有助力於Web3.0遊戲充分滿足遊戲參與者在場景和人物構建方面的個性化高質量需求。
作為知識內容生成發展過程中的新一輪範式轉移，AIGC將帶來以下幾個方面的變革。
第一是數據增長。基於AIGC技術的合成數據迎來重大發展，合成數據將牽引人工智能的未來。Gartner預計到2025年，生成式人工智能將占所有生成數據的10%，到2030年合成數據將徹底取代真實數據。MIT科技評論將AI合成數據列為2022年十大突破性技術之一。合成數據的用途是成為真實世界數據的廉價替代品，用來訓練、測試、驗證AI模型，成為訓練AI的主要數據來源。
第二是知識拓展。智能時代，AIGC將快速拓展人類對自然世界的認知，AlphaFold通過內容生成預測並繪畫蛋白質的摺疊結構便是例證。
第三是信息獲取方式的改變。AIGC不僅改變創作，還將改變獲取信息的主要方式。以ChatGPT為例，在尋找答案、解決問題的效率上，ChatGPT直接給出搜索結果，而現今的搜索引擎只能給出隱藏結果的網頁列表。
第四是直接提高生產力。生成式AI可以嵌入生產和工作環節，與工作流程相結合，直接提高生產效率、降低生產成本，促進產業數字化轉型。微軟CEO薩蒂亞·納德拉（Satya Nadella）在做客《華爾街日報》訪談時說：「……事實上，ChatGPT可以用來建立工作流程。這意味着零售、倉庫、醫療保健等一線工人，他們不是IT專家，他們在計算機科學方面也不熟練，但實際上，他們可以參與到組織的數字化轉型工作中來……，而且還可以參與到知識工作中來」。AIGC有望成為數字經濟時代驅動需求爆發的殺手級應用。
第五是加速「經濟奇點」的到來。「經濟奇點」是人工智能專家(英)卡魯姆·蔡斯(Calum Chace)創造的一個詞，即AI技術本質上會造成社會的大規模失業。
第六是極大地降低經濟社會成本。AIGC模型的通用化水平和工業化能力的持續提升將引起經濟社會成本結構的重大改變。OpenAI公司創始人兼首席執行官山姆·阿爾特曼（Sam Altman）在他的「Moore's law for everything」（即萬物摩爾定律）一文中預測：人類社會需要的商品和服務，將會大規模地由AI來生產，這會導致商品和服務的價格下降，由於AI的大規模普及，房子、汽車、日常商品和服務的價格，每幾年就會降低一半。
ChatGPT是在海量數據、超大模型和巨大算力的工程性結合下，通過對海量數據中單詞-單詞、句子-句子等之間的關聯性概率預測，才體現出強大的語言對話能力。無疑，ChatGPT無法避免帶有惡意和偏見的錯誤數據對知識生成結果的干擾。但隨着法律和倫理規制的不斷強化以及模型的迭代升級，再加上不斷增強的自學習和推理能力，人類離通用人工智能AGI時代將越來越近。ChatGPT已經打開了通用人工智能AGI時代。-(文:零點有數科技/鈦媒體)
