以進化對抗內卷:AI時代先進存力的躍遷路徑
AI的上限究竟在哪裡?在人工智能通用化全面加速的背景下,這個話題變得炙手可熱。有人覺得「意識」的產生並不遙遠,也有人擔心真正的爆款應用難以落地。
無論是樂觀派抑或保守者,都不能否認數據才是決定人工智能高度的關鍵要素。在驅動AI成長的「三駕馬車」中,算力基礎設施建設正如火如荼,算法的演進更是一日千里,而訓練數據的歸集與處理卻遭遇瓶頸,機器學習的效率依然偏低。
從這個意義上講,數據存儲可將信息轉化為語料庫、知識庫,是提升數據質量和處理效率的利器——因此,先進存力的構建與發展堪稱大模型時代的「勝負手」,打破AI向上的天花板迫在眉睫。
面對前所未有的機遇與挑戰,存儲市場掀起了新一輪創新熱潮,不少國產品牌參與其間,亦取得一定成果。不過,諸多基於開源Ceph的換裝修補解決不了人工智能時代的數據存儲難題,甚至會進一步加劇「內卷」的程度,對自主創新、先進存力的探索仍舊任重而道遠。
華為公司副總裁、數據存儲產品線總裁周躍峰
近日,在西寧舉辦的2023華為數據存儲用戶精英論壇上,ICT業界頂尖專家、各行業資深用戶匯聚一堂,共同探討存儲產業發展方向,尋找驅動數字經濟進化的嶄新路徑。華為公司副總裁、數據存儲產品線總裁周躍峰發表主題演講,系統闡釋了華為存儲二十多年來的成長軌跡,為中國存儲產業的未來演進提供了更多頗具價值的選項。
在AI大時代,如何找到先進存力的躍遷路徑?華為存儲用親身經歷打磨出的實踐標杆,值得借鑑與跟進。
*以正確的姿勢堅持活下去
在少有人走的路上,活下來,並不是件簡單的事。
早在2001年,華為就雄心勃勃進入存儲產業,但三年之後由於技術門檻太高且投入巨大,僅剩下4名研發人員。直到2008年華為賽門鐵克成立,華為存儲的探險之旅才得以延續。
儘管華為賽門鐵克很快推出第一款產品OceanStor V1800,但隨之而來的是2009年20%硬盤故障等問題。周躍峰迴憶道:「當時的華為存儲還稍顯稚嫩,也正是這樣的經歷,讓我們真正學會了尊敬存儲、敬畏數據。」
起步階段的打擊並未阻擋華為做高端存儲的追求。從最初「連業界高端存儲的架構都看不懂」,到「逐步掌握高端存儲全互聯架構的精髓」,再到2019年推出A-A全互聯架構的高端存儲產品,華為十年磨一劍,終於站上了存儲世界的最高峰。
然而,由於眾所周知的原因,華為的全球營商環境在2019年5月急轉而下,海外市場一夜之間降到冰點。在最艱難的時刻,正確的選擇與倔強的堅持顯得至關重要。
時光拉回到2015年,華為存儲面臨重大抉擇,「是只做鯤鵬CPU的板子還是做鯤鵬和X86兩塊板子」——在研發團隊的自我鼓勵下,華為存儲最終決定只做鯤鵬CPU的板子,這為應對後來的至暗時刻打下了堅實基礎。
其實,華為存儲對芯片自研的執着由來已久。為了將命運掌握在自己手中,華為持續投資存儲的三大核心芯片:2009年推出第一款SSD主控芯片,將SSD寫時延減少一半;2011年研發出接口協議芯片,使網絡時延降低50%;2016年第一款基於鯤鵬系統控制芯片的OceanStor存儲問世,促進性能提升2倍。
當然,來自市場的質疑聲不可能一夜之間消失。據周躍峰透露,為了能「繼續做存儲」,華為花了一年的時間替換了1000多個器件,採用新的硬件方案確保可靠性不變,並做了一百多萬行代碼修改,把過去的開源社區代碼全部變成自主研發的代碼。值得慶幸的是,在艱難節點,華為存儲得到了來自眾多供應商和合作夥伴的支持,客戶的信心也逐步恢復。
自主創新與保持開放並不矛盾,協調好二者的關係,可以起到相輔相成的效果。面對高端存儲的技術鴻溝,華為堅持全球化研發布局,從瑞士的架構創新中心、印度研究所的NAS文件研發中心、加拿大的新數據應用到中國的成都、北京、上海、深圳,聚集4000+的存儲研發頂尖人才。此外,華為存儲還每年舉行全球壓縮算法大賽,通過廣泛吸收知識與經驗,讓數據壓縮、數據編碼等技術處於領先地位。
*謀求產品特質與客戶預期的雙重超越
以正確的姿勢堅持下來,華為存儲終於取得一系列的重大突破。這不僅體現在產品創新層面,來自全球客戶的高度認可更是難能可貴。
在自主創新的道路上,總會有以開創性產品為標識的一座座里程碑:2019年,華為推出高端全閃存存儲,支持SAN和NAS、Active-Active雙活,滿足「8壞7」的高可靠;2020年,全新OceanStor Pacific系列高性能分布式存儲問世,支持多種數據協議融合,在最新的IO500榜單上領先歷史最佳記錄15倍以上;2021年,OceanProtect X8000高端備份存儲登場,在備份速度和效率方面成為新的標杆;結合鯤鵬和昇騰形成的鯤鵬超融合產品首批通過了中國信通院的信創評估,AI訓練/推理一體化的超融合產品也於今年重磅上市。
產品創新的終極目標是贏得客戶認可。據了解,華為存儲已服務於150多個國家和地區,得到全球25000多家用戶的信任。以高端存儲的試金石金融行業為例:在世界TOP100銀行中,有47家銀行是華為存儲的客戶,遍及歐洲、非洲、中東、亞太、拉美等各個區域。
在存儲市場的整體生態中,除了供應鏈系統和客戶外,第三方權威分析機構的認可也頗為重要。華為存儲已連續7年位於Gartner魔力四象限領導者,兩大產品分布式存儲和主存儲都是Gartner最佳「客戶之選」。
*探索以存強算的星辰大海
根據IDC諮詢發布的報告,未來五年,全球數據量規模將增長一倍以上,中國數據量規模僅次於北美地區,預計2026年將達56.16ZB,年均複合增長率為24.9%。
面對數據大爆炸和AI加速滲透的新環境,存儲廠商既有的發展模式已無法適應新的要求,與其繼續內卷,不如向外尋求機會。周躍峰認為,對抗內卷最好的方法是進化,中國存儲產業一定要共同努力,創造更多的新價值。
從產品技術的角度看,基於硬盤的分布式存儲已進入強內卷階段,大力發展全閃分布式存儲勢在必行。華為發布的分布式存儲全閃新品OceanStor Pacific 9920,以高性能、大容量閃存盤和高效數據縮減算法,促進分布式存儲全面閃存化,大幅提升海量非結構化數據生產決策效率。
針對智能化時代新的應用,華為存儲還開發了多讀多寫存儲引擎,用於優化提升數據庫性能並幫助客戶免除應用分布式改造;面向AI大模型的迭代訴求,華為積極推動存儲從簡單的數據存取進化為大模型時代的知識庫,並充分挖掘全閃存分布式存儲在提升訓練推理效率方面的潛能,全閃存數據中心的夢想已照進現實。
以更長遠的視角來看,未來5~10年國內廠商要想在算力上領先難度頗高,唯有藉助近存計算、向量化索引等創新技術,以存強算,構建與智算中心匹配的先進存力中心,才能實現數字經濟的全面躍遷。所謂以存強算,即通過存力的升級來提升算力整體性能。例如:在AI大模型系統中,可把數據的預處理提前在存儲環節做好,然後再把數據傳給GPU,讓GPU更高效地工作。
令人欣喜的是,國內存儲產業已形成從上游介質、網絡到中游存儲整機,再到下游數據應用的完整產業鏈,「產、學、研、用」的協同進化正迎來歷史性的契機。中國能否成為AI時代的領跑者?存儲是否可以扮演火車頭的角色?數據存儲能否繼5G之後成為中國的第二張科技名片?答案飄在風中,更藏在每一位奮鬥者的足跡里。-IT創事記-