“我意識到ChatGPT是一個劃時代的技術變革。一定要自己下場，以最快速、最靈活、最全面的方式來投身到變革中去。”
2024年3月下旬，前微軟全球副總裁，如今的階躍星辰創始人、CEO姜大昕博士對钛媒體App表達他對于下場做大模型的決心。
早在一年前，筆者就從行業裏面聽說了“階躍星辰”這家非常非常低調的公司——背景很強大、多位前微軟團隊成員參與其中。
去年9月，階躍星辰已將超過GPT-3.5的Step-1千億參數大模型開放給合作夥伴使用，同時還獲得了備案審批。很多行業裏面的人對這個團隊給予厚望。
相比其他大模型玩家的高調入場，階躍星辰在過去一年幾乎處于“隱形”，這樣的低調是令人好奇的，也促使我希望更快深度了解這家公司。
但沒想到，我這一等就等了近一年。
如今，階躍星辰終于對外亮相。今年3月23日2024全球開發者先鋒大會上，階躍星辰首次發布了Step系列通用大模型，包括Step-1千億參數語言大模型，Step-1V千億參數多模態大模型，以及Step-2萬億參數MoE語言大模型預覽版——這也是國內初創公司裏面的首個萬億參數大模型。
接近兩小時的閉門交流中，姜大昕向钛媒體App坦言，過去一年內，在國內“百模大戰”這一喧囂背景下，階躍星辰選擇埋頭研發技術和産品。訓練萬億參數模型體現了階躍星辰的核心技術價值，也說明了公司探索AGI（通用人工智能）的決心。
發布Step系列大模型，繼續攀登Scaling Law
自1956年至今，AI 技術經曆了三個重要階段。
前兩次 AI 浪潮中，所有人期盼的十年“AI 效應”這一看法泡沫破滅。不管是芯片“摩爾定律”速度跟不上 AI 的算力要求，還是數據量不夠、算法不強、商業化不如預期，均讓我們對 AI 保持著長期質疑的態度。
2018年底，BERT模型橫空出世，在經典的閱讀理解測試集上超越了人類准確率的水平，是自然語言處理領域的巨大突破事件節點，也是邁向AGI的第一個節點。
姜大昕在2021年的一場活動演講中表示，BERT集成了此前深度學習在自然語言處理領域已經取得的成果，顯得特別強大，主要有特征學習、自監督學習等特點。采用了自監督的學習方式，BERT能夠自己構造訓練數據、利用網頁數據作爲訓練集，從而訓練上億參數大模型。
在他看來，預訓練模型就像本科生學習各種基礎課，而微調是研究生學習專業課，基礎知識掌握比較牢固，學習專業課就比較容易——這就是BERT的主要思想。
然而，Transformer的出現讓大模型有了另外一種可能。基于自注意力機制的Transformer模型，讓更多人理解和生成自然語言文本。如今，基于Transformer的模型會做得越來越大，能力越來越強。
姜大昕強調，大規模語言模型突破開創了“預訓練+微調”新範式。
姜大昕2005年就獲得紐約布法羅州紐約州立大學計算機科學博士，並在微軟工作了16年有余，曾帶領團隊研發微軟Bing必應搜索、Cortana智能助手等業務産品，在機器學習、數據挖掘、自然語言處理、生物信息等領域擁有豐富的經驗和工程經驗。
離開微軟時，姜大昕擔任微軟全球副總裁，所在部門爲STCA（微軟亞洲互聯網工程院）。
2020年3月，微軟推出圖靈模型，參數量是上一代的10倍，達到了170億參數；僅僅三個月後，OpenAI推出了GPT-3 模型，翻了超10倍，達到1750億參數，轟動一時。
2022年底，OpenAI發布基于GPT-3.5模型的 AI 聊天機器人ChatGPT，風靡全球，成爲邁向 AGI 的第二個節點。
“千億參數的GPT-3.5模型是一個重要的分水嶺。要達到 GPT-4 的萬億規模參數，各個維度的要求都上了一個台階。訓練萬億模型需要等效 A800 萬卡單一集群，高效穩定的訓練，十萬億 tokens高質量的數據，加上駕馭新穎的 MoE 架構。這裏面有任何一個短板，Scaling Law（縮放規律）就很難攀登上去。”姜大昕告訴钛媒體App。
基于這樣一個判斷，姜大昕自身負責算法工作，同時找到微軟搜索引擎團隊負責搜索排序相關性的leader 焦斌星，以及曾在微軟亞洲研究院的朱亦博，分別負責數據和系統，成立了階躍星辰這家公司，劍指AGI。
姜大昕表示，階躍星辰這個名字也很有趣。它的靈感來自階躍函數（Step Function）——神經網絡中最早的激活函數，其圖像對應著我們 logo 中階梯的形狀。一方面，階躍本身就有跳變、躍遷、超線性增長的意思，另一方面，step by step，紮實地做好手上的工作，這也是公司基因。
對于通往AGI的路徑，姜大昕和其團隊有著自己的認知和判斷。
姜大昕認爲，通向 AGI 會經曆三個階段：一是早期階段，語言、視覺、聲音不同模態獨立發展，模態之間沒有關系，每個模型所要做的是學習如何更好地表征各自模態的特點；二、如今多種模態已開始走向融合，但這個融合並不徹底，主要是理解任務、多模生成任務分開，造成模型的理解能力強但生成能力弱，或者反之；三、下一步一定是將生成和理解統一在一個模型裏。多模態理解和生成統一後，就可以和“具身智能”結合起來。把模型作爲機器人或者一個設備的大腦，讓它去探索這個世界，與世界進行交互。
姜大昕強調，多模理解和生成的統一是通向AGI的必經之路。
從2023年兩個月內訓練出的Step-1千億參數語言大模型，到今年Step-2萬億參數MoE語言大模型預覽版，階躍星辰正一步一步推進大模型研發。
其中，Step-1 是千億參數語言模型，在模型架構、算法和系統上進行創新，擁有優秀的長文理解和生成能力、多輪指令跟隨能力以及現場學習能力，同時能夠實現單卡低比特超長文本的高效推理。Step-1在邏輯推理、中文知識、英文知識、數學、代碼方面表現出色，性能全面超越GPT-3.5。
Step-1V的多模理解能力突出，可以精准描述和理解圖像中的文字、數據、圖表等信息，並根據圖像信息實現內容創作、邏輯推理、數據分析等多項任務。此外，Step-1V亦可實現視頻理解。據大型模型評估平台“司南”（OpenCompass）多模態模型評測榜單顯示，階躍星辰研發的Step-1V 千億參數多模態大模型位列第一，性能比肩 GPT-4V。
最新的Step-2萬億參數語言大模型則采用 MoE（混合專家模型）架構，聚焦深度智能的探索。據了解，參數量從千億到萬億，增長了一個數量級，對算力、系統、數據、算法四個方面都提出了極高的要求，業內只有極少數公司能做到。
姜大昕指出，攀登Scaling Law 是一個“鐵人四項”的超級工程，而階躍星辰在算力、系統、數據和算法四大要素方面不斷發力。
其中，算力，通過自建機房+租用算力，積極進行算力儲備；系統，階躍星辰團隊實踐過單集群萬卡以上的系統建設與管理，訓練千億模型的 MFU（有效算力輸出）達 57%；數據，數據團隊核心骨幹來自必應搜索引擎，曾支持全球 100 多種語言，爲 200 多個國家和地區提供服務，對全球互聯網高質量語料的分布有深入了解，並建立起強大的數據處理和知識圖譜流水線；算法，團隊不僅能駕馭各種架構，比如萬億參數的 MoE 架構，而且對大模型的認知以及發展路線有深刻洞察。
“我堅信Scaling Law，訓練更大模型。同時，我們能洞察AGI路線，追求多模理解和生成的統一，而 Step 系列大模型將爲多模理解和生成的統一奠定堅實基礎。”姜大昕表示。
國內 AIGC 産業價值將達1.1萬億元，Step大模型落地To C端
隨著大模型爆火，消費級 AI 應用將有望成爲中國下一個萬億級市場機會。
據艾瑞咨詢發布的最新報告顯示，2023年，中國生成式AI（AIGC）産業規模約爲143億元，預計到2030年，中國AIGC産業生態日益穩固，完成重點領域、關鍵場景的技術價值兌現，中國AIGC産業規模屆時有望突破萬億元，達到11441億元。
萬億産業規模、13億人的參與，促使中國在 To C 端的 AI 應用會比To B 端有更大規模效應。
階躍星辰目前主打C 端場景，在此方面通過自有産品和合作産品兩種方式，展開了積極探索。團隊已研發並推出兩款面向C端用戶的大模型産品——效率工具“躍問”和AI開放世界平台“冒泡鴨”，均已全面開放使用。
具體來說，“躍問”是一款聊天機器人和 AI 效率工具平台，可支持圖片上傳以及文檔上傳，支持聯網搜索。而“冒泡鴨”則是一款 AI陪伴型應用，可以選擇對應角色的智能體對話。一個比較好的交互是在對話結束後智能體會主動給出可選擇的回複，比單純的打字要方便很多。
“我把模型和産品的關系比喻成靈魂和皮囊。大家一定聽過一句話，好看的皮囊千篇一律，有趣的靈魂萬裏挑一。我們希望靈魂能更加有趣一點才能顯示出産品的不同。”姜大昕表示。
此外，階躍星辰在金融、網絡文學、知識服務等領域已與合作夥伴達成深度合作，共同探索面向C端用戶的創新應用。比如在金融領域，階躍星辰與合作夥伴共同打造國內首個千億參數多模態金融大模型——“財躍F1金融大模型”，並且與中文在線、中國知網等合作推進大模型應用。
當下，大模型技術的研發和落地應用仍在快速叠代和探索中，圍繞這一前沿技術，聚集最頂尖的人才與豐厚的戰略資源，無疑是大模型創業公司的核心競爭力。而階躍星辰是其中的佼佼者。
钛媒體App了解到，2023年，階躍星辰拿下了多家頂級VC機構的投資。目前階躍星辰選擇“閉源+開放生態”，自身研發通用大模型，把模型能力通過API等形式對外開放，讓更多的開發者和企業開發應用，共同創造應用場景和行業生態。---（钛媒體/作者 : 林志佳｜钛媒體AGI）
*全球1229個獨角獸的總價值高達3.8萬億，相當于德國GDP*
钛媒體3月25日消息，近日，研究機構CB Insights發布了一份最新的全球獨角獸市場地圖報告。
報告顯示，目前全球有1229家獨角獸公司，覆蓋53個國家和地區，這些企業的總價值高達3.8萬億美元，大致相當于德國全年的GDP（國民生産總值）。
其中，2023年全球僅誕生了 71 家新的獨角獸企業，是2021年的八分之一，有所下降。
具體來說，從地區分布來看，美國擁有一半以上 (占比 53%) 的獨角獸企業，包括Discord、1Password等，其中有有兩個行業的份額相對于全球平均水平較高——企業科技，占美國獨角獸企業的 39%；以及醫療保健與生命科學，占比13%。
緊隨美國之後的是中國，其中包括小紅書、喜馬拉雅、小冰、零一萬物（01.AI）、曠視科技、晶泰科技、數坤科技等公司。從行業看，中國的獨角獸企業尤其集中在工業和消費零售領域，占比分別爲31%和30%。
從行業來看，企業科技是最具代表性的行業，占所有獨角獸企業的 31%，包括針對一般 B2B 用例或向廣泛行業銷售的技術公司；其次位居第二的是，18%份額的金融服務業；第三是消費品和零售業，占比17%。
CB Insights稱，企業科技集團最近增長尤爲強勁。過去 6 個月誕生的獨角獸企業中大約有一半屬于這一類別，包括零一萬物、印度的Krutrim和美國的ElevenLabs等。
但與此同時，大多數其他行業的獨角獸數量卻停滯不前，甚至有所下降。數據顯示，截至2023年，在數字健康領域初創企業退出、融資輪次減少和關閉等綜合因素的推動下，醫療保健和生命科學領域的獨角獸總數從 122 家減少到 117 家。
此外，平均時間而言，很多獨角獸公司從成立之初到市值達到10億美元大關只用了 7 年多的時間——從金融服務業的 6.6 年，到醫療保健業的 7.7 年。
然而，如今隨著ChatGPT風靡全球，有34家生成式 AI 獨角獸公司達到獨角獸地位的平均時間總共只有 3.9 年，比所有其他獨角獸公司少 45%。
實際上，過去一年，整個世界範圍 AI 領域風起雲湧，一年所取得的技術突破遠遠超過了過去10年甚至幾十年。人類正站在技術變革爆發點，Exascale超級電腦每秒進行百億億次級計算，AI發現的晶體結構數量是科學史上發現的45倍以上，僅用30天就研發出潛在抗癌新藥，烏拉圭工業機器人數量比人口還多等。
3月21日，美國銀行發布的一份深度報告中指出，2024年將是“AI 賦能一切”的一年，AI 和其他技術發展之間形成一個巨大的正反饋，包括AI、計算、機器人、通信、醫療保健、能源等30個技術領域或將迎來突破。而實現突破的技術商業化十分關鍵，美銀預計相關市場規模約爲16萬億美元。
報告中強調，AGI作爲人工助理，它將具備在廣泛任務上達到或超過人類水平的一般認知能力，能夠實現自我學習，並且能夠解決未被預先編程的任務。隨著數據的增長、計算能力的提高和技術的創新，AI可能在未來十年內達到1500的智商，是人類平均智商的18倍。
美銀補充稱，盡管AI帶來了許多好處，但也存在挑戰，如端側設備AI的功耗、成本、算法/軟件優化和安全性問題。整體而言，美銀報告預測，到2030年，AI 可能會爲全球增加15%-20%左右的經濟價值。
美國國家工程院院士、ImageNet 創建者、斯坦福大學計算機科學系首任紅杉講席教授、前谷歌副總裁李飛飛在英偉達 GTC 大會中表示：“今天的 AI ，基本上都是從好奇心驅動的學術研究課題開始的，這是我們社會不斷創新的入口。隨著像 OpenAI 這樣的公司開始在 AI 的發展中占據主導地位，需要相關的法規去約束這些公司，以便讓公衆受益。”
上海人工智能實驗室領軍科學家林達華教授表示，過去 AI 發展有兩個非常重要的驅動力量：一是源于所有大模型的研究者和從業者對于AGI技術理想的追求，我們在不斷地突破邊界尋求越來越接近AGI的大模型；二是，但同時産業界也看到了大模型帶來了産業革命的這種憧憬這種可能性，所以無數的企業投入巨大的資源幾十億幾百億投入這個賽道裏，才促成了整個行業的迅猛發展。
“一個是應用，一個是對技術邊界的追求，這兩股力量交織在一起形成了我們今天的這種波瀾壯闊的發展局面。”林達華表示，但無論是主觀，還是客觀來說，GPT-4都是領先全球的，國內比較頭部的商業模型離GPT-4仍然有一定的差距，但是他們也都超過了GPT-3.5的水平。
隨著 AI 科技不斷發展，算法語言表達的高級程度已逼近人類水平，機器人正在逐漸學會應對真實的環境。
林達華強調，“在這樣一個 AI 浪潮時代，企業和從業者不需要所有卷到“大模型”的基礎模型當中，而是要清楚的理解自己的資源禀賦和優勢，選擇自己差異化的路徑，如果很多的從業者都能夠基于這樣的思考，去尋找自己的發展路徑，中國大模型的産業最終會一路繁花、前程似錦。”---（钛媒體/作者 : 林志佳｜钛媒體AGI）
