前幾天，英偉達成爲首家市值達到2萬億美金的芯片公司，創造了曆史。同一時間，一家名爲Groq的初創公司橫空出世，揚言“三年之內趕超英偉達”。
Groq狠話的底氣，來源于它所開發的芯片——LPU。
LPU的全稱是Language Processing Unit，翻譯過來就是語言處理單元，是一種新型AI加速器。在它的支持下，大模型的推理速度快得驚人，瞬間能輸出長篇幅答案；而使用了英偉達芯片的GPT-4，只能一個字一個字往外蹦。
前者的響應速度最高可達到500T/S，而後者只有40T/S[1]。
這是什麽概念？相當于一秒鍾生成300個單詞，7分鍾生成一部《哈姆雷特》長度級的文章。
Groq背後的團隊也可謂群星璀璨，公司CEO Jonathan Ross是谷歌初代TPU的設計者之一。早期谷歌TPU團隊的10位成員中，8位都跳槽到了Groq。
自2016年成立，Groq就飽受市場關注。2020年，Groq的芯片被美國阿貢實驗室采用。2021年，Groq獲老虎環球基金等機構投資，估值超過10億美元。
然而，Groq公司的各種“挑釁”，英偉達完全沒放在眼裏。相比之下，此前“奧特曼7萬億美元造芯”的新聞出來之後，黃仁勳至少還出來說了兩句。
畢竟，眼下Groq的種種套路，老黃可再熟悉不過了。
文字遊戲
當下，制約AI芯片發展的主要困境，是內存牆：內存的傳輸速度遠遠慢于處理器算力，導致性能遲遲上不去。
如果把芯片想象成一個餐廳，那麽內存就是倉庫，處理器就是後廚。
倉庫送菜比後廚烹饪還慢，嚴重限制了餐廳的出菜速度。因此，包括英偉達在內的芯片廠商，都在圍繞“倉庫（內存）”做文章。而Groq碾壓英偉達的秘訣，也藏在內存結構裏。
傳統計算機所使用的內存，其實有兩種：
DRAM容量較大，但傳輸速度較慢，起主存作用；而SRAM容量較小，但傳輸速度極快，作爲緩存發揮輔助作用。一直以來，二者都是合作關系，缺一不可。
但Groq爲了追求極致的速度，摒棄了DRAM，讓SRAM扛起了LPU主存大旗。
相當于砍掉距離廚房較遠的大倉庫，直接將所有食材都堆在廚房邊的菜籃子裏。 這樣的設計思路下，LPU不但在速度上形成降維打擊，還輕松繞過了兩個成本最高的技術： HBM和先進封裝。
這也構成了Groq另一個大吹特吹的宣傳核心：便宜。
根據Semi Analysis的拆解，LPU由于具備架構優勢，物料成本僅爲1050美元。相比之下，去年全球瘋狂的H100芯片，物料成本則達到3700美元[2]。
在售價層面，一塊LPU的價格是20000美元，遠低于H100的35000美元。
但歷史無數次告訴我們，大部分彎道超車的結局都是有田下山，LPU也不例外。
大模型對內存大小也有著很高的要求。參數量越大的模型，運行時所需要存儲的數據也會更多。
SRAM雖然快，但缺陷是容量小，通常只有4-16MB。Groq研發團隊多年苦心鑽研，最終也只是將LPU的容量提升至230MB。而一塊H100的內存容量是80GB，兩者間差了約356倍。菜籃子再怎麽升級換代，終究無法和倉庫相提並論。
想裝下所有的食材，唯一的辦法就是把菜籃子數量堆上去。因此，在運行同樣參數的模型時，需要用到的LPU數量就遠遠高于GPU。
前阿里技術副總裁賈揚清就算了一筆賬：
以運行LLaMA 70b模型爲例，需要572張LPU，售價1144萬美元；但如果換成H100，其實只需要8張，總價格在30萬美元左右——所謂的“便宜”壓根不成立。
芯片一多，整體的功耗成本也直線上升。LPU每年至少消耗25.4萬美元電費，而H100頂多花費2.4萬美元。
事實證明，Groq的遙遙領先，只是隱去了核心信息的文字遊戲。它所宣傳的“高速”，是以近乎誇張的使用成本換來的：運行三年LLaMA 70b模型，LPU的使用成本將比英偉達的GPU高出32倍。
當然，Groq的研發團隊，顯然對此心知肚明。選擇此時大張旗鼓，更像是一種拉投資的舉動。
事實上，這已經不是Groq第一次公開“蹭熱度”了。
之前GPT Store剛發布時，Groq給OpenAI的奧特曼發了一封信，嘲笑使用GPTs跟在“深夜讀《戰爭與和平》一樣緩慢”。馬斯克的聊天機器人Grok發布時，它也跑去貼臉嘲諷，質疑Grok抄襲了自己的名字。
過去幾年，打著“替代英偉達”旗號的初創公司數不勝數，Groq只不過是其中之一。目前，在超車英偉達的這條彎道，已經出現了嚴重塞車。
前車之鑒
Groq最直觀的參考樣本，來自英國公司Graphcore。
Graphcore誕生之初，也曾拿著“技術路線別出心裁、演示視頻酷炫驚豔、性能數據秒殺同行”的劇本，拳頭産品IPU與Groq的LPU設計思路異曲同工，也是用高速的SRAM取代DRAM作爲芯片內存，以實現極致的傳輸性能。
同時，Graphcore調整了芯片架構，專注于處理高性能計算。
它曾頗有自知之明地表示“不與英偉達直接競爭”，只將目標客戶定位在，特別需要大量高性能計算的化學材料和醫療等特殊領域。
Graphcore的兩位創始人
2019年，微軟成爲Graphcore首款IPU的大客戶。 2020年5月，微軟科學家將IPU內置于微軟Azure操作系統中，用于識別胸部X光片。 這位科學家說道：
“Graphcore芯片可以在30分鍾內完成，GPU需要5個小時才能完成的工作。”
在最風光的2016至2020年間，Graphcore共拿到了7.1億美元融資，估值高達27.7億美元，一度被視爲全英國乃至歐洲全村的希望。Graphcore的投資者不僅有微軟、三星、戴爾等科技巨頭，也囊括了紅杉資本、柏基投資等頂級風投。
相比今天的Groq，當年的Graphcore只能說有過之無不及。但Graphcore的後續發展卻遠遠不及當時的預期。
2022年，Graphcore全年營收只有270萬美元，爲英偉達同期收入的萬分之一，且相較前一年下降46%，虧損達到了2億美元。 2023年，人工智能浪潮爆發，英偉達業績再度暴漲。 H100一卡難求之時，Graphcore以爲自己至少能撿到英偉達的漏，結果卻連湯都沒喝著。
去年，Graphcore的創始人Nigel Toon向英國首相寫了篇“公開信”，討要補貼。
他寫道，“Graphcore已經爲英國預留了多達3000個IPU芯片，可以爲整個國家提供服務”，幾乎已經是明示要錢[4]。
不久前，一面業績虧損，一面融資無果的Graphcore走向了最後一條路： 尋求收購。 根據The Telegraph爆料，其售價可能在5億多美元——不到2020年最高估值時期的五分之一[5]。
當年，以Graphcore爲首的挑戰者們，各懷絕學，來勢洶洶，頗有一種八大門派圍攻光明頂的既視感。然而，如今多已散作鳥獸狀。
去年3月，芯片公司Mythic一度因資金耗盡而瀕臨倒閉，快要淹死之際，才好不容易等到了救命缰繩，拿到了1300萬美元融資。
另一家芯片公司Blaize也出現了類似的困境，最後靠著中東土豪的投資，才活了下來。
剩下的公司中，Habana可能是唯一活得不錯的——它被英特爾以20億收購，保留了獨立運營的權利。
從Graphcore到Mythic，這些芯片公司的技術路線各不相同；然而，它們失敗的原因，卻出奇一致。事實上，今天大火的Groq，同樣也極有可能倒在同一個地方：
芯片賣不出去。
真正的護城河
英偉達的GPU固然厲害，但它賣芯片的套路，才是真正的護城河。
每年，英偉達都會投入相當一部分的研發經費，圍繞GPU搭建系統性能力。當然，這是高情商的說法，低情商的說法是開發一起“捆綁銷售”的産品——這才是英偉達最堅實的城牆。目前，英偉達的城牆共有3層：
第一層城牆，是CUDA的編程生態。
衆所周知，GPU最初的使用場景是遊戲與視頻圖像渲染。早期，一些華爾街精英偶爾利用GPU的並行計算能力來跑交易，但由于需要重新編寫大量代碼，因此並未廣泛傳播開來。
黃仁勳堅信GPU能用于更多領域，因此在2006年推出了降低編程門檻的軟件架構CUDA，和自家GPU捆綁推出。
後來，蘋果和AMD都推出了類似平台，但此時CUDA生態早已構建，在“用得人越多，CUDA越好用，新開發者越傾向于選擇CUDA”的良性循環中穩定前進。
如今，CUDA可以讓英偉達GPU的使用成本大幅降低。
一位私有雲CEO曾在接受采訪時說過，理論上AMD卡也不是不能用，但要把這些卡調試到正常運轉，需要多耗費兩個月[6]——找誰下單，答案不言而喻。
2017年，英偉達甚至向AI研究員贈送了V100芯片
第二層城牆，是NV-Link的高速傳輸。
一個數據中心，不可能只使用一塊AI芯片。然而，如果將2塊AI芯片連在一起，那麽實際算力必然會小于2，因爲數據傳輸的速度慢于芯片算力，且過程中還存在損耗。
顯然，在GPU數量迅速膨脹的數據中心內，解決數據傳輸問題其關鍵。
2016年，英偉達爲IBM服務器提供GPU時，首次用上了自研的NVLink技術，帶寬高達80G/s，通信速度提高了5倍，性能提升了14%，好評不斷。此後幾年，英偉達一邊叠代NVLink技術，一邊規定該技術必須綁定自家芯片使用。
套路雖然簡單直白，但就是有效。
而第三層城牆，則是英偉達的“鐵杆好兄弟聯盟”。
過去一年，英偉達是全球最主要的人工智能投資人之一，活躍程度甚至超過了a16z和紅杉等頂級投資機構。
據外媒統計，英偉達去年至少有35筆人工智能投資，包括：由前DeepMind聯合創始人創辦的Inflection AI，歐洲人工智能獨角獸Mistral，世界最大的開源模型社區Hugging Face等等[7]。
Inflection AI創始人蘇萊曼
積極投資的目的，其實很簡單：當黃仁勳提著美金和H100芯片，敲開這些公司的大門，沒有人會再拒絕英偉達。
這所有的一切，足以讓市面上絕大多數公司，都綁死在英偉達的船上。
面對性能強大的英偉達GPU，各路初創公司們或許有辦法，打造出性能相匹敵的産品。然而。英偉達賣芯片的套路，卻讓這些公司始終難以招架。因此，Graphcore等挑戰者的失敗，真的不是不努力。
當眼下的炒作逐漸回歸寂靜，Groq也得思考相同的問題：到底誰會翻過三座大山，來買LPU？
尾聲 : 2月23日，英偉達市值突破2萬億美元。距離上一個1萬億，僅僅過了9個月。
Groq的爆火，讓市場又一次開始討論同一個問題：到底有沒有人能叫板英偉達？
遺憾的是，英偉達遠比人們想象的要強大。人工智能浪潮給芯片行業提供了一塊大蛋糕，英偉達並沒有分的意思，而是整個端走塞進了口袋。
芯片初創公司Mythic的CEO曾憤然表示，人工智能火了，他們卻更難融資了，就是英偉達“搞壞了大環境”。
根據PitchBook數據，截至2023年8月底，美國芯片初創企業融資8.814億美元，約爲2022年同期的一半。交易數量的變化則更加觸目驚心：從23宗減少到了4宗[8]。
Graphcore、Mythic的前車之鑒曆曆在目，所以也不怪Groq跟大家玩兒文字遊戲。面對這麽一個“湯都不給喝”的龐然大物，Groq又能怎麽辦呢？
---[封面圖片來自 shotdeck*編輯：陳彬*視覺設計：疏睿*責任編輯：陳彬/來源: 遠川科技評論 ]
