Scaling Law 持續見效，讓算力就快跟不上大模型的膨脹速度了。「規模越大、算力越高、效果越好」成為行業圭臯。主流大模型從百億跨越到 1.8 萬億參數只用了1年，META、Google、微軟這些巨頭也從 2022 年起就在搭建 15000 卡以上的超大集群。「萬卡已然成為 AI 主戰場的標配。」
然而在國內，全國產化的 GPU 萬卡集群，則是屈指可數。有超大規模，同時還具備超強通用性的萬卡集群，更是行業空白。
當國產 GPU 萬卡萬 P 集群首次亮相時，自然就引發了行業廣泛關注。
7 月 3 日，摩爾線程在上海重磅宣布其 AI 旗艦產品誇娥（KUAE）智算集群解決方案實現重大升級，從當前的千卡級別大幅擴展至萬卡規模。摩爾線程誇娥（KUAE）萬卡智算集群，以全功能 GPU 為底座，旨在打造國內領先的、能夠承載萬卡規模、具備萬 P 級浮點運算能力的國產通用加速計算平臺，專為萬億參數級別的復雜大模型訓練而設計。這一里程碑式的進展，樹立了國產 GPU 技術的新標桿，有助於實現國產智算集群計算能力的全新跨越，將為我國人工智能領域技術與應用創新、科研攻堅和產業升級提供堅實可靠的關鍵基礎設施。
此外，摩爾線程聯合中國移動通信集團青海有限公司、中國聯通青海公司、北京德道信科集團、中國能源建設股份有限公司總承包公司、桂林華崛大數據科技有限公司（排名不分先後）分別就三個萬卡集群項目進行了戰略簽約，多方聚力共同構建好用的國產 GPU 集群。
摩爾線程創始人兼 CEO 張建中表示：「當前，我們正處在生成式人工智能的黃金時代，技術交織催動智能湧現，GPU 成為加速新技術浪潮來臨的創新引擎。
摩爾線程矢誌投身於這一歷史性的創造進程，致力於向全球提供加速計算的基礎設施和一站式解決方案，為融合人工智能和數字孿生的數智世界打造先進的加速計算平臺。
誇娥萬卡智算集群作為摩爾線程全棧 AI 戰略的一塊重要拼圖，可為各行各業數智化轉型提供澎湃算力，不僅有力彰顯了摩爾線程在技術創新和工程實踐上的實力，更將成為推動 AI 產業發展的新起點。」
AI 主戰場，萬卡通用算力是標配
大模型自問世以來，關於其未來的走向和發展趨勢亟待時間驗證，但從當前來看，幾種演進趨勢值得關註，使得其對算力的核心需求也愈發明晰。
首先，Scaling Law 將持續奏效。Scaling Law 自 2020 年提出以來，已揭示了大模型發展背後的 「暴力美學」，即通過算力、算法、數據的深度融合與經驗積累，實現模型性能的飛躍，這也成為業界公認的將持續影響未來大模型的發展趨勢。Scaling Law 將持續奏效，需要單點規模夠大並且通用的算力才能快速跟上技術演進。
其次，Transformer 架構不能實現大一統，和其他架構會持續演進並共存，形成多元化的技術生態。生成式 AI 的進化並非僅依賴於規模的簡單膨脹，技術架構的革新同樣至關重要。
Transformer 架構雖然是當前主流，但新興架構如 Mamba、RWKV 和 RetNet 等不斷刷新計算效率，加快創新速度。隨著技術叠代與演進，Transformer 架構並不能實現大一統，從稠密到稀疏模型，再到多模態模型的融合，技術的進步都展現了對更高性能計算資源的渴望。
與此同時，AI、3D 和 HPC 跨技術與跨領域融合不斷加速，推動著空間智能、物理 AI 和 AI 4Science、世界模型等領域的邊界拓展，使得大模型的訓練和應用環境更加復雜多元，市場對於能夠支持 AI+3D、AI + 物理仿真、AI + 科學計算等多元計算融合發展的通用加速計算平臺的需求日益迫切。
多元趨勢下，AI 模型訓練的主戰場，萬卡已是標配。隨著計算量不斷攀升，大模型訓練亟需超級工廠，即一個 「大且通用」 的加速計算平臺，以縮短訓練時間，實現模型能力的快速叠代。當前，國際科技巨頭都在通過積極部署千卡乃至超萬卡規模的計算集群，以確保大模型產品的競爭力。隨著模型參數量從千億邁向萬億，模型能力更加泛化，大模型對底層算力的訴求進一步升級，萬卡甚至超萬卡集群成為這一輪大模型競賽的入場券。
然而，構建萬卡集群並非一萬張 GPU 卡的簡單堆疊，而是一項高度復雜的超級系統工程。它涉及到超大規模的組網互聯、高效率的集群計算、長期穩定性和高可用性等諸多技術難題。這是難而正確的事情，摩爾線程希望能夠建設一個規模超萬卡、場景夠通用的加速計算平臺，並優先解決大模型訓練的難題。
誇娥：國產萬卡萬 P 萬億大模型訓練平臺
誇娥（KUAE）是摩爾線程智算中心全棧解決方案，是以全功能 GPU 為底座，軟硬一體化、完整的系統級算力解決方案，包括以誇娥計算集群為核心的基礎設施、誇娥集群管理平臺（KUAE Platform）以及誇娥大模型服務平臺（KUAE ModelStudio），旨在以一體化交付的方式解決大規模 GPU 算力的建設和運營管理問題。
視頻鏈接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650924595&idx=2&sn=ceb973101fae3c09bdfcd4fc9a8e29f0&chksm=84e4224db393ab5b00d799fa812f7db7c7c3e7daa0f3ec33162ae3c2acbd3111336cfa6614ef&token=1170670493&lang=zh_CN#rd
基於對 AI 算力需求的深刻洞察和前瞻性布局，摩爾線程誇娥智算集群可實現從千卡至萬卡集群的無縫擴展，旨在滿足大模型時代對於算力 「規模夠大 + 計算通用 + 生態兼容」 的核心需求，通過整合超大規模的 GPU 萬卡集群、極致的計算效率優化以及高度穩定的運行環境，以萬卡智算集群的新超級工程，重新定義國產集群計算能力的新標準。
誇娥萬卡智算解決方案具備多個核心特性：
超大算力，萬卡萬 P：在集群計算性能方面，全新一代誇娥智算集群實現單集群規模超萬卡，浮點運算能力達到 10Exa-Flops，大幅提升單集群計算性能，能夠為萬億參數級別大模型訓練提供堅實算力基礎。同時，在 GPU 顯存和傳輸帶寬方面，誇娥萬卡集群達到 PB 級的超大顯存總容量、每秒 PB 級的超高速卡間互聯總帶寬和每秒 PB 級超高速節點互聯總帶寬，實現算力、顯存和帶寬的系統性協同優化，全面提升集群計算性能。
超高穩定，月級長穩訓練：穩定性是衡量超萬卡集群性能的關鍵。在集群穩定性方面，摩爾線程誇娥萬卡集群平均無故障運行時間超過 15 天，最長可實現大模型穩定訓練 30 天以上，周均訓練有效率目標最高可達 99% 以上，遠超行業平均水平。
這得益於摩爾線程自主研發的一系列可預測、可診斷的多級可靠機製，包括：軟硬件故障的自動定位與診斷預測實現分鐘級的故障定位，Checkpoint 多級存儲機製實現內存秒級存儲和訓練任務分鐘級恢復以及高容錯高效能的萬卡集群管理平臺實現秒級納管分配與作業調度。
極致優化，超高 MFU：MFU 是評估大模型訓練效率的通用指標，可以直接反應端到端的集群訓練效率。誇娥萬卡集群在系統軟件、框架、算法等層面一系列優化，有效計算效率（MFU）目標最高達 60%，可達到國際水平。
其中，在系統軟件層面，基於極致的計算和通訊效率優化等技術手段，大幅提升集群的執行效率和性能表現。在框架和算法層面，誇娥萬卡集群支持多種自適應混合並行策略與高效顯存優化等，可以根據應用負載選擇並自動配置最優的並行策略，大幅提升訓練效率和顯存利用。
同時，針對超長序列大模型，誇娥萬卡集群通過 CP 並行、RingAttention 等優化技術，有效縮減計算時間和顯存占用，大幅提升集群訓練效率。
全能通用，生態友好：誇娥萬卡集群是一個通用加速計算平臺，計算能力為通用場景設計，可加速 LLM、MoE、多模態、Mamba 等不同架構、不同模態的大模型。同時，基於高效易用的 MUSA 編程語言、完整兼容 CUDA 能力和自動化遷移工具 Musify，加速新模型 「Day0」 級遷移，實現生態適配 「Instant On」，助力客戶業務快速上線。
萬眾一芯，共建大模型應用生態
萬卡集群的建設需要產業界的齊心協力，為實現大模型創新應用的快速落地，讓國產算力 「為用而建」。發布會現場，摩爾線程攜手中國移動通信集團青海有限公司、中國聯通青海公司、北京德道信科集團、中國能源建設股份有限公司總承包公司、桂林華崛大數據科技有限公司（排名不分先後），分別就青海零碳產業園萬卡集群項目、青海高原誇娥萬卡集群項目、廣西東盟萬卡集群項目進行了戰略簽約。
借助摩爾線程先進的誇娥全棧智算解決方案，各方將攜手共建強大的全國產智算平臺，以加速產業數字化轉型和高質量發展。誇娥萬卡智算集群項目標誌著國產 AI 算力基礎設施的又一重大進展，將為各地的數字經濟發展註入新活力。
摩爾線程與中國移動通信集團青海有限公司戰略簽約
摩爾線程與中國聯通青海公司、北京德道信科集團戰略簽約
摩爾線程與中國能源建設股份有限公司總承包公司、桂林華崛大數據科技有限公司戰略簽約
發布會後，無問芯穹、清程極智、360、京東雲、智平方等五家合作夥伴代表紛紛登臺，分享了摩爾線程誇娥智算集群如何助力其在大模型訓練、大模型推理、具身智能等不同場景和領域的創新，展現了誇娥智算集群在實際應用中的巨大潛力與廣泛適用性。
摩爾線程願與廣大行業夥伴並肩同行，發揮全棧 AI 的力量，加速推動一個由萬卡智算集群為強大底座，多領域夥伴共建、廣泛賦能數字經濟的國產智算生態，共同開啟一個屬於大模型與生成式人工智能的新時代，為美好世界加速。
在 WAIC 期間，摩爾線程將在上海世博展覽館（H2 館 D616）開展 「全棧 AI 為美好世界加速」 的主題成果展示，包括加速卡、服務器、超融合一體機和 AIGC 應用在內的摩爾線程全棧 AI 產品悉數亮相，並攜手眾多行業合作夥伴聯合展示基於誇娥智算集群的豐富行業大模型與應用方案。
---[機器之心報導*機器之心編輯部/來源: 機器之心Pro]
