01-神魔宇宙 ***宇宙天國首部曲 彌勒天書閣 https://maitreya-books.com/ 神話從來就不是怪力亂神,而是原始先民在日常生活情況的觀察之中,所建立的真實認知。唯有相信神話中的真實,才能感受到神話的詩意隱喻背後,所具有的神聖力量。打開你的想像,打開你的相信,你才能知道神話告訴了你什麼宇宙生命的資訊。 生命起源於宇宙之中,生長於宇宙之中,結束於宇宙之中,因此,宇宙的起源就是生命背景的起源。生命形成的每一個階段,其實都在述說著生命的本能,也就是生命本就存在的一種力量,在此雖是說明一種狀況,然而將這狀況投射在生命的生活行動之中,你就會明白自己究竟有哪些不可思議的本能!

中國式ChatGPT大躍進

2023030312:51



3月2日,OpenAI正式開放了ChatGPT的API接口,開發人員可以將ChatGPT模型集成到他們的應用程序和產品中。ChatGPT API調用的價格以Token(數字代幣)計算,0.002美元可以獲得1000 Token,1000個Token約等750個單詞。這個價格比ChatGPT剛剛開放測試時大幅下降,OpenAI官方稱,12月以來,OpenAI為ChatGPT降低了90%的成本。

與ChatGPT一同開放API的還有OpenAI的語音轉文字模型Whisper,如果開發人員把這兩個模型結合起來應用到自己的App中,沒準也能造出一個鋼鐵俠的「賈維斯」。

與科技行業大環境的停滯與衰退不同,AI產業正在逆流而上,關於ChatGPT和通用AI大模型的討論一浪接着一浪,現在幾乎每周都會有幾條關於生成式AI以及AI大模型的熱點新聞。

在加密貨幣頻頻暴雷後,風險投資領域太需要一個刺激神經的技術了。

2月28日,百度官宣了將在3月16日召開發布會,公開自己的類ChatGPT產品「文心一言」。在此之前,Meta也宣布將開源一個用於科研的大模型系列LLaMA。

在微軟高調把ChatGPT推到New Bing的台前後,硅谷巨頭們就開始緊鑼密鼓地推動大模型研究,谷歌僅用兩個月就發布了類似ChatGPT的Bard。

在這方面,中國並不落後。2023年2月起,百度、阿里、騰訊、京東、字節等紛紛發聲表示自己在大模型領域已經開展了深入研究,且獲得了很多成果。一時間,追逐大模型成了國內AI行業的標準動作,「大練模型到煉大模型」的過渡期似乎已經接近尾聲,下一階段大有「全民大模型,ChatGPT進萬家」的架勢。

不過,AI技術研發不是誰都能做的,需要真正的專家。硅谷巨頭之所以能在大模型領域迅速反應,一方面因為他們在這條賽道上有多年的技術積累,更重要的是他們在AI研究方面有着大量的人才儲備。

谷歌的人工智能研究團隊一直處在全球領先地位,旗下還有與OpenAI齊名的實驗室DeepMind;另一家科技巨頭Meta則由被稱為卷積神經網絡之父的圖靈獎得主Yann LeCun以首席AI科學家的身份坐鎮。

微軟手下的急先鋒OpenAI,也是基於強大的科研團隊才奠定的領先地位。科技情報分析機構AMiner和智譜研究發布的《ChatGPT團隊背景研究報告》顯示,OpenAI的ChatGPT研發團隊中,27人為本科學歷,25人為碩士學歷,28人為博士學歷(註:5人信息缺失),占比分別為33%、30%、37%。



ChatGPT團隊學歷分布

而另一份來自獵聘大數據的國內AI人才市場調查則顯示:近一年,預訓練模型、對話機器人和AIGC三個ChatGPT相關領域中,國內企業明確要求本科以上學歷的職位分別占71.33%、82.30%、92.53%;要求碩、博士學歷的占比分別為16.49%、9.86%、18.22%。

對比ChatGPT團隊,國內AI人才的平均水平差距較大,碩博比例明顯不足。而在今天這種大家齊上大模型賽道的「加速」發展態勢下,要在短時間裡「大干快上」,勢必要先比試比試誰的團隊技術實力強,誰更能在自己的麾下聚攏一批大模型人才。

搶人大作戰

技術大戰開打之前,各家的大模型團隊先得打贏一場關鍵的人才爭奪戰。

如果你是一個清華博士,有5-10年NLP(Natural Language Processing,自然語言處理)行業經驗,那麼你的資料只要出現在招聘平台上,不需要任何詳細履歷,就可以在註冊完成後的48小時內,接到多家獵頭公司的詢問電話,以及數十條HR、獵頭、業務經歷甚至BOSS本人發來的站內信息。在這些信息中,不乏阿里、美團、小紅書等大廠,還有諸多創業公司,以及研究機構。獵頭們提供的NLP算法研究員崗位年薪也大多會在百萬元上下。

根據獵聘大數據調查,過去五年,人工智能和互聯網的招聘薪資均處於上漲態勢,人工智能年均招聘薪資明顯高出互聯網。2022年,人工智能招聘平均年薪為33.15萬元,比互聯網高出4.27萬元,即14.78%。


五年來人工智能與互聯網招聘平均年薪對比

在ChatGPT爆火後,這樣的情況越來越明顯。據上述調查顯示,與ChatGPT相關的崗位工資均超過平均水平,AIGC為39.08萬,對話機器人為34.89萬,預訓練模型為33.93萬。「ChatGPT一火起來,AI工程師的薪資水平也越來越高,你不開高價就搶不到人。」某AI領域投資人對虎嗅說。

從技術的角度看,大模型發端於NLP領域,自然語言處理崗位在人工智能領域一直都處於人才稀缺的狀態,薪酬水平處於高位。科銳國際調研諮詢業務負責人&高科技領域資深專家景曉平對虎嗅表示,「人工智能行業典型崗位按產業鏈劃分,技術層和基礎層薪酬水平處於高位,高於互聯網其他領域薪酬水平,應用層和互聯網常規崗位薪酬一致。」

事實上,近年來國內AI人才的碩博占比也在逐年提升,很多企業對AI領域的人才要求學歷至少是碩士。薪酬結構則與企業的性質密切相關,國有企業、研究所的薪酬主要是固定薪酬、項目獎金和津貼,例如,國內第一梯隊的AI實驗室,清華大學計算機系自然語言處理與社會人文計算實驗室(THUNLP)掛在官網上的博士後招聘待遇為年薪30萬,享受清華大學教職工社會保險、住房公積金等待遇。提供公寓或每年4.2萬的租房補貼,同時可以解決子女入園、入學。

IT大廠和AI創業公司的薪酬結構則多為,固定薪資+浮動獎金+股權期權激勵。在獵聘、脈脈、BOSS直聘三個平台搜索ChatGPT,碩博學歷職位的月薪普遍高於3萬,最高達9萬。「在薪酬方面IT大廠並不會占多少便宜,AI大模型的研發都是高舉高打,創業公司給出的薪酬可能更有競爭力。」西湖心辰COO俞佳認為,沒有資金支持很難在大模型的基礎訓練領域推動一家初創公司,對於這個領域來說,錢的問題可能「不是最大的問題」。

獵聘、脈脈、BOSS直聘,搜索ChatGPT的前排結果

此外,在諸多崗位信息中,工作地點集中在北京、上海、杭州和深圳,但其中一些職位也並不限制辦公地。景曉平表示,目前國內AI人才北京占據第一位,上海、廣東省分列二三位,近些年互聯網發展極為活躍的浙江省,在人工智能發展上也絲毫不落風頭,成都作為科技新秀城市,有優質相關生源的地域,也儲備了不少人工智能人才。但從需求總量來看,國內AI人才還有很大缺口。

OpenAI的專家團隊為何強

OpenAI官網掛出的參與過ChatGPT的項目團隊共87人,該團隊平均年齡為32歲,其中90後是主力軍。

《ChatGPT團隊背景研究報告》顯示,ChatGPT研發團隊絕大多數成員擁有名校學歷,成員最集中的前5大高校是:斯坦福大學(14人)、加州大學伯克利分校(10人)、麻省理工學院(7人)、劍橋大學(5人)、哈佛大學(4人)和佐治亞理工學院(4人)。


ChatGPT 團隊成員畢業前10名高校

此外,很多成員都有名企工作經歷,包括:Facebook、Stripe、Uber、Quora、NVIDIA、Microsoft、Dropbox、DeepMind、Apple、Intel等公司,其中有10人來自谷歌,OpenAI的首席科學家Ilya Sutskever亦是從谷歌轉會而來,Ilya Sutskever是AlphaGo的作者之一,師從人工智能學界泰斗Geoffrey Hinton。

ChatGPT團隊成員流動示意圖

1985年出生在蘇聯的Ilya Sutskever,如今已經是英國皇家學會院士。據說Ilya Sutskever退出谷歌,與Sam Altman、Elon Musk等人一起創立OpenAI時,年薪曾大幅縮水。但他參與創立OpenAI的初衷是「確保強大的人工智能造福全人類」的大義和情懷。

OpenAI初創之時是一家非營利研究機構,從這點上來看,無論是否帶着情懷加入這家公司的研究人員,還是給「非營利」事業燒錢的投資人,多少都有一點對技術的「信仰」,這種驅動力,可能是錢買不來的。

不過OpenAI給這些科技精英們提供的薪酬待遇並不低。據紐約時報報道,2016年,OpenAI向Ilya Sutskever支付了超過190萬美元。另一位行業大佬級的研究員Ian Goodfellow(對抗式生成網絡的提出者)2016年從OpenAI得到的報酬則超過80萬美元,而他在這一年中只工作了9個月,不過Ian Goodfellow在OpenAI沒有待很長時間就離開了。

一直以來,硅谷的AI研究員都是高收入人群。在谷歌發布的官方招聘信息中,在美國工作的全職「高級軟件工程師,大型語言模型,應用機器學習」(Staff Software Engineer, Large Language Models, Applied ML)崗位基本工資範圍為年薪17.4萬-27.6萬美元(約120萬-190萬元人民幣)+獎金+股權+福利。

這份工作的主要職責是:為谷歌大型語言模型的關鍵衝刺做出貢獻,將尖端的LLM(Large Language Mode,大型語言模型) 引入下一代谷歌產品和應用程序,以及外部用戶。在建模技術方面進行協作,以支持全方位的LLM調整,從提示工程、指令調整、基於人類反饋的強化學習(RLHF)、參數高效調整到微調。

微軟研究院的研究員崗位「博士後研究員-機器學習和強化學習」(Post Doc Researcher-Machine Learning and Reinforcement Learning)年薪則在9.4萬-18.2萬美元(約64萬-125萬元人民幣)。工作職責是「與其他研究人員合作制定自己的研究議程,推動有效的基礎、基礎和應用研究計劃。」

ChatGPT團隊中另一個有意思的點是團隊中有9位華人成員,其中5人本科畢業於國內高校,美國學界對人才的虹吸效應也正是硅谷巨頭以及「OpenAI」們強大人才競爭力的基礎。

「中國的AI人才是從14億人里挑,美國是從80億人里挑,全世界優秀的人很多都到美國去了。」圖靈聯合創始人、原智源研究院副院長劉江表示,要承認差距確實存在,不過他也表示,「在這方面,我們也不用氣餒。中國也有自己的優勢,比如市場化、產品化的能力,近年來我們不比美國同行差了。」

國內大廠的實力如何?

除了人才問題,國內大模型研究落後美國另一個原因是在生成式AI和大模型研究方面起步略晚,而起步晚的原因,則還是與「錢」脫不開關係。

從技術角度看,生成式技術在Stable Diffusion和ChatGPT等網紅產品出現之前,技術實現的效果並不理想,且需要消耗大量算力進行研究。所以大廠、資本很難斥以重資,投入到這種看上去不太賺錢,還要燒錢的業務。

中國的AI產業更注重應用場景,而非基礎理論和技術創新。各家大廠在NLP的理解方面有很多成熟業務,比如聽寫、翻譯,在視覺識別和AI大數據處理方面也有很多應用場景。所以這部分業務自然是AI研發的主力,一方面他們賺錢,另一方面在這些領域的技術積累,使研究人員能夠「在規定跑道上賽跑」,而不是在未知領域探路。

這一點不只是限制了國內公司,更是很多全球巨頭的創新桎梏。正如諾基亞做不出iPhone一樣,巨頭都不喜歡「破壞式創新」,谷歌發布的Bard只因一個小失誤就牽動了母公司Alphabet的萬億市值,這也正是谷歌一直聲稱不願發布LaMDA大模型的理由,害怕會因AI的失誤影響自己的商譽。而OpenAI顯然不太在乎ChatGPT在公測中會出什麼問題,畢竟他發布ChatGPT時只是一家估值200億美元的獨角獸。

不過,在這波大模型的追趕賽中,國內大廠的團隊也可以說是實力頗強。

百度在大模型方面走的最早,百度自2019年開始研發預訓練模型,先後發布了知識增強文心(ERNIE)系列模型。文心大模型研發的帶頭人,百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰博士,是自然語言處理領域權威國際學術組織ACL(Association for Computational Linguistics)的首位華人主席、ACL亞太分會創始主席、ACL Fellow,還是IEEE Fellow、CAAI Fellow及國際歐亞科學院院士。他還兼任中國電子學會、中國中文信息學會、中國工程師聯合體副理事長等職。目前,王海峰在國內外期刊會議上發表的學術論文有200餘篇,獲得已授權專利170餘項。

雖然沒有像百度一樣公布類似ChatGPT產品的發布時間表,但騰訊、阿里和華為分別提出的「混元」、「通義」和「盤古」三個大模型,均已研發了很長時間。

據機器學習和自然語言處理著名學者Marek Rei教授在2022年4月發布的統計(2023年的統計尚未發布)顯示,2012-2021年中,在ML(Machine Learning,機器學習)和NLP頂級期刊和會議發表論文數量最多的機構是谷歌,微軟緊隨其後。發文數量最多的中國機構是清華大學,第二是位列第16的騰訊,騰訊也是前32名中唯一的中國互聯網廠商。不過,在2021年單年的統計中,阿里和華為也登上此榜,騰訊仍排在較靠前的位置。

Marek Rei發布的2021年ML、NLP頂會、期刊發文量統計

目前,騰訊官方並沒有公布「混元」大模型研發團隊的具體信息。不過,騰訊旗下AI研發團隊「騰訊AI Lab」的專家構成,也顯示出了騰訊在AI領域的一部分實力。騰訊AI Lab由100餘位AI科學家和超過300名應用工程師組成,帶頭人張正友博士是騰訊首席科學家、騰訊 AI Lab 及 Robotics X 實驗室主任,騰訊首位17級研究員、傑出科學家。他在美國斯坦福大學(Stanford University)發布的2022年度「全球前2%頂尖科學家榜單」(World's Top 2% Scientists 2022)中,排名全球「終身科學影響力排行榜」第1002名,中國排名 Top 10。

阿里在LLM領域的研究主要由阿里巴巴達摩院負責,阿里巴巴集團資深副總裁,阿里雲智能CTO、達摩院副院長周靖人主導,他是IEEE Fellow,多次擔任VLDB,SIGMOD,ICDE等國際頂級會議程序委員會主編、主席,在頂尖國際期刊和會議上發表論文超百篇,並擁有幾十項技術專利。

華為也未對「類ChatGPT產品」公開表態,但在大模型方面華為亦有「盤古」大模型正在研究。該項目由華為雲人工智能領域首席科學家田奇博士領導,他是計算機視覺、多媒體信息檢索專家,IEEE Fellow,國際歐亞科學院院士,教育部長江講座教授,國家自然科學基金海外傑青,中國科學院海外評審專家,在國內多所高校任講席教授及客座教授。

在自己組建團隊投入研發的同時,百度、阿里、騰訊、華為等IT大廠,也與中科院計算所自然語言處理研究組、哈爾濱工業大學自然語言處理研究所、中國人民大學高瓴人工智能學院等高校研究有很多的技術合作。

「集中力量辦大事」的科研機構

數據閉環是大模型研發的關鍵,用戶越多,積累時間越長,就意味着可以用於迭代升級的數據和反饋也就越多。

在這方面OpenAI已經利用前兩代的開源GPT模型和GPT-3積累了大量數據。ChatGPT雖然才推出了3個月,但用戶量和訪問量增長速度飛快,這些都為OpenAI在大模型研發方面積累了巨大的先發優勢。

「AI大模型如果落後了,就會面臨卡脖子的風險。」很多AI專家對此都有擔心,由此國內也誕生了一些應對此種局面的非營利性AI科研機構。這些機構多數有高校研究實驗室背景加持,以及地方政策支持,人才聚攏能力非常強勁。

北京智源人工智能研究院(以下簡稱「智源研究院」)是科技部和北京市政府共同支持,聯合北京人工智能領域優勢單位共建的非營利性創新性研發機構。智源研究院理事長張宏江,是美國國家工程院外籍院士,ACM Fellow和IEEE Fellow,同時也是微軟亞洲研究院的創始人之一。

2021年,智源研究院發布了1.7萬億參數的超大模型「悟道」的1.0和2.0版本,這項工作由100餘位科學家共同打造。其中包括清華大學計算機系自然語言處理與社會人文計算實驗室(THUNLP)的孫茂松教授,清華大學知識工程研究室(KEG)的唐傑教授,清華大學交互式人工智能課題組(CoAI)的黃民烈教授。

目前「悟道」大模型已經與OPPO、好未來、淘寶、搜狗、美團等開展了落地合作。在與美團的合作中,大模型給搜索廣告帶來了2.7%的收入增長。

在南方的科技重鎮也有一家相似的研究機構,粵港澳大灣區數字經濟研究院(以下簡稱IDEA研究院),IDEA研究院是由深圳市政府大力支持的AI研究機構。與智源研究院有一個頗有趣的相似之處,IDEA研究院的創始人沈向洋博士同樣出身微軟亞洲研究院。沈向洋博士是美國國家工程院外籍院士和英國皇家工程院外籍院士,他參與創建了微軟亞洲研究院,擔任院長兼首席科學家,並曾擔任微軟公司全球執行副總裁,主管微軟全球研究院和人工智能產品線,並負責推動公司中長期總體技術戰略及前瞻性研究與開發工作。

IDEA研究院NLP研究中心負責人張家興博士也來自微軟亞洲研究院,他的團隊推出的開源模型「太乙」,據稱在中文文生圖領域可以達到接近Stable Diffusion(一款開源文生圖AI模型)的水平。

目前IDEA研究院正在持續迭代開發的預訓練模型體系「封神榜」,已經開源了6個系列共10個模型,包含4種模型結構,模型參數最大為35億。其中包括:以Encoder結構為主的雙向語言系列模型的二郎神系列;面向醫療領域,擁有35億參數的余元系列;與追一科技聯合開發的新結構大模型周文王系列;以Decoder結構為主的單向語言模型聞仲系列;以Transformer結構為主的編解碼語言模型,主要解決通用任務的大模型燃燈系列;以及主要面向各種糾錯任務的比干係列。

2月20日晚,復旦大學自然語言處理實驗室對媒體宣傳邱錫鵬教授團隊發布了「國內第一個對話式大型語言模型MOSS」,並在公開平台(https://moss.fastnlp.top/),邀請公眾參與內測。然而就在外界都等着看MOSS表現如何驚艷之時。MOSS的內測網站卻掛出了一則道歉公告。

目前MOSS的測試網站已經掛出了停止服務的公告。一位AI大模型專家對虎嗅表示,「邱錫鵬的實驗室學術研究的氛圍很濃。雖然這次的MOSS很少有人得到體驗機會,但是從後邊的公告來看,有可能是在工程優化,並發處理等方面的準備還沒有那麼充分。」

在近期舉行的2023年世界人工智能開發者先鋒大會上,邱錫鵬教授公開表示,如果優化順利,MOSS計劃在2023年3月底開源。

雖然,沒能成功搶發「國產ChatGPT」,但AI業內人士對邱錫鵬教授團隊仍然給出了肯定的評價,「邱錫鵬教授的團隊比較偏重學術,這和早期的OpenAI在科研心態上是有共性的,非營利性的AI研究機構,沒有那麼多功利的考慮。」

創業公司都有「大佬」背書

AI技術屬於計算機科學,雖然計算機技術已發展多年,但AI仍屬於前沿科技,對LLM以及其他通用大模型的研究更是興起不久,仍然需要依靠應用數據,持續迭代升級,不管MOSS是不是因為工程經驗絆了跟頭,要在AI、大模型這些領域實現突破,能推廣到市場中,接地氣的技術和產品才是王道。事實上,目前國內AI行業活躍的實驗室大多已開始嘗試商業化,在市場的磨礪中探索大模型未來的出路。

深言科技

深言科技源自清華大學計算機系自然語言處理與社會人文計算實驗室(THUNLP)。THUNLP由清華大學人工智能研究院常務副院長孫茂松,以及劉洋、劉知遠,三位教授帶頭。實驗室在2017年推出的中文詩歌自動生成系統「九歌」則是最有影響的詩歌生成系統之一,「九歌」已經為用戶創作了超過3000萬首詩詞。

孫茂松教授領銜研發的CPM模型是智源研究院的大模型「悟道·文源」的前身,也是國內最成熟的中文生成式大模型之一。深言科技的團隊也是由CPM模型的部分研發團隊成員所組成的,目前該公司產品包括可以根據意思搜索詞語的「WantWords反向詞典」,以及根據意思查詢句子的「WantQuotes據意查句」。

智譜AI

智譜AI的前身是清華大學知識工程研究室(KEG),KEG專注研究網絡環境下的知識工程,在知識圖譜、圖神經網絡和認知智能領域已發表一系列國際領先的研究成果。2006年,智譜AI就啟動了科技信息分析引擎ArnetMiner(以下簡稱AMiner)的相關研究,先後獲得了國際頂級會議SIGKDD的十年最佳論文(Test-of-Time Award)、國家科學進步獎二等獎、北京市發明專利獎一等獎。

2022年8月,由KEG與智譜AI共同研發的千億級模型參數的大規模中英文預訓練語言模型GLM-130B正式發布,其在多個公開評測榜單上超過GPT-3 v1。此外,智譜AI還打造了認知大模型平台(BigModel.ai),形成AIGC產品矩陣,提供智能API服務。

聆心智能

2月17日,聆心智能宣布完成由無限基金SEE Fund領投的Pre-A輪融資。聆心智能的底層技術是超擬人大規模語言模型,基於大模型可控、可配置、可信的核心技術優勢,聆心智能推出「AI烏托邦」,該系統允許用戶快速定製 AI 角色。

聆心智能由清華大學交互式人工智能課題組(CoAI)黃民烈教授支持。CoAI是清華大學朱小燕教授及黃民烈教授領導的實驗室。2020年,就已經開源了1200萬對話數據和中文對話預訓練模型CDial-GPT。黃民烈教授也曾參與了智源研究院的「悟道」大模型研發。

西湖心辰

西湖心辰背靠西湖大學深度學習實驗室,創始人是西湖大學助理教授、博士生導師藍振忠,主要研究大規模預訓練模型的訓練與應用。藍振忠曾在谷歌擔任研究科學家,也是輕量化大模型ALBERT的第一作者。

西湖大學在人工智能領域的研發實力很強,除了藍振忠博士的深度學習實驗室,西湖大學NLP實驗室,在該領域的研究也非常領先。學術帶頭人張岳博士在Marek Rei教授的頂會、期刊發文量統計中,於2012-2021年期間排名全球第四。

「目前國內LLM領域的創業公司相對IT大廠來說主要有兩個優勢,技術和數據。」西湖心辰COO俞佳對虎嗅表示,國內大模型創業公司在技術方面普遍已有多年研究經驗,構築了一定的技術壁壘,這是很難短期超越的。同時,由於已經推出了相關產品,「數據飛輪」已經轉起來了,這些數據的質量相比互聯網數據質量要高很多,能夠對產品迭代起到很大支撐作用。

對於國內大模型創業公司未來的發展趨勢,俞佳認為可能性很多,「有些公司可能會走出自己的道路,也有的公司可能會像OpenAI一樣與IT大廠開展深度合作,甚至像DeepMind直接併入其中。」

-[出品:虎嗅科技組*作者:齊健*編輯:陳伊凡頭圖:電影華爾街之狼/來源:虎嗅]