AI時代數據存儲不再是“胡吃海塞”，分布式或能提高存儲效率

5月7日，以“數據覺醒，構建AI-Ready的領先數據基礎設施”為主題的2024創新數據基礎設施論壇在柏林舉行。華為公司副總裁、數據存儲產品線總裁周躍峰博士發表題為“數據覺醒時代，華為重新定義數據存儲”主題演講，他表示，具備極致性能、數據韌性、全新數據范式、高擴展性、綠色節能、數據編織能力的數據存儲是AI時代存儲演進的必由之路。


數據存儲的新要求

AI大模型集群規模已邁入萬卡、十萬卡時代，集群規模增加帶來更加頻繁的故障和訓練中斷，重復的CheckPoint數據寫入、斷點續訓導致算力資源閑置，集群可用度不足50%。此外，到2026年，全球數據中心的耗電量預計將達到2022年的2.3倍，相當于日本一個國家全年的耗電量，其中數據中心一半以上的電力消耗都將被AI占據。

AI時代呼喚新一代數據存儲。過去的數據存儲主要關注性能、可靠、數據范式三個方面；面向未來，AI存儲還應增加三個維度：高擴展性、綠色節能與數據編織。數據覺醒時代，華為將重新定義數據存儲，聚焦于六個方面的創新，持續引領：

極致性能：超越傳統存儲10倍的性能，支持PB級帶寬以及億級IOPS，極大提升生成式AI全流程效率；

數據韌性：通過架構和技術創新，實現99.9999%高可靠性，通過內置防勒索引擎，實現偵測準確率提升至99.99%，并將AI訓練過程中CheckPoint恢復時間縮至1分鐘以內；

全新數據范式：使能多維“張量”格式的數據，通過智能檢索引擎，具備快速的張量數據檢索能力；通過內嵌知識庫，利用RAG技術消除AI大模型幻覺；

高擴展性：存儲集群支持EB級容量橫向擴展；每個引擎可支持多GPU、DPU或NPU縱向擴展，以支持近存計算；

綠色節能：通過存儲介質應用創新和整機硬件創新，實現小于1Watt/TB的存儲能效和1PB/U的存儲密度；

數據編織：基于存儲元數據管理及檢索能力，實現全局數據可視、可管，并支持10倍的數據流動效率提升。

基于以上創新，華為推出全新A系列高性能存儲OceanStor A800，專為AI而生，可有效提升AI集群可用度30%。性能方面，OceanStor A800帶寬是友商同類產品的4倍，IOPS達友商的8倍；支持EB級容量擴展，最大支持擴容至4096張算力卡，512個存儲控制器；從空間能耗來看，密度高達1PB/U，能耗低至0.7Watt/TB；結合向量化索引、張量格式數據、RAG知識庫，使能全新數據范式；數據韌性方面，勒索攻擊偵測準確率從99.9%提升至99.99%；通過數據編織能力，實現數據資產管理。


數據爆炸來臨

國產替代加速

在新興技術驅動下，存儲主要面對的是云計算、大數據和人工智能等大規模數據應用場景。相較于傳統存儲，源于大型互聯網數據中心的“軟件定義存儲”技術，天生具有的可擴展性以及靈活性，數據存儲行業為新基建時代帶來了革命性的數據儲存手段。

伴隨著信息產業的迅猛發展和普及，數據存儲技術已成為現代信息產業架構中不可或缺的底層基座。然而，日益增長的數據存儲需求，要求數據存儲技術在介質、架構、協議、應用與運維模式等數據存儲行業方面不斷發展演進。

當前數據資源已成為關鍵生產要素，更多的產業通過利用物聯網、工業互聯網、電商等結構或非結構化數據資源來提取有價值信息;而海量數據的處理與分析均要求構建大數據中心。

近年來，伴隨著互聯網的快速發展以及在各行業的滲透，互聯網行業的IDC需求仍是推動中國數據中心(IDC)業務市場規模絕對值增長的主要驅動力，數據存儲行業市場始終保持市場規模量級的增長。


1、大數據時代來臨，數據量和數據價值陡升，催生存儲需求

隨著半導體和云計算的發展解決計算成本和計算能力問題，神經網絡和深度學習在算法效率上實現突破，以人工智能、物聯網等為代表的萬物智能應用將使各行各業的數據量以遠超摩爾定律的速率爆發增長。

目前近六成的企業已成立數據分析相關部門，超過 1/3 的企業已實際應用大數據。隨著數據集中、數據挖掘、商業智能、協同作業等大數據處理技術的日趨成熟，數據價值呈指數上升趨勢，數據逐漸成為企業越來越重要的無形資產，因此使得存儲行業快速升溫。

預計未來大數據引出的存儲增量需求主要有三方面，一是數據量擴大引起的擴容需求，二是數據分析和處理產生的倍增數據存儲需求，三是數據價值被發掘后，企業會對數據的安全保障投入更大的精力，進而產生更多的容災需求和備份需求。


2、國家實行信息化安全戰略，極大促進國內數據存儲廠商的發展

近年來隨著互聯網+、移動互聯網、物聯網、大數據、云計算的快速發展，數據逐漸成為用戶的核心信息資產。2013 年“美國棱鏡門”事件和“RSA 后門”事件的影響持續發酵，個人隱私意識和企業數據安全意識不斷提升，國家已將核心 IT 產品自主可控提升到戰略高度，近年來相繼出臺了一系列鼓勵信息產業自主可控的法律法規和產業政策，隨著國家對信息基礎設施的重視程度日益提高，相關市場的空間日益擴大，信息產業核心基礎設施的國產化替代趨勢正在加快。


3、中高端市場增速明顯，國產化替代空間較大

近年中國外部存儲市場為例，進入高端市場排名的廠商中，國外廠商占據 56.5%的市場份額，國內廠商以華為、曙光、DCN、宏杉為代表，占據 39.4%的市場份額；進入中端市場排名的廠商中，國外廠商占據 38.0%的市場份額，國內廠商以華為、浪潮、宏杉、同有、宇視、曙光、聯想、DCN 為代表，占據 53.0%的市場份額。因此，中國存儲市場的國產化程度仍有較大的提升空間。

近年來國內中高端存儲市場發展較快，市場規模在不斷擴大，且國產化替代仍有較大空間，在政策面的大力支持下，國內廠商正在逐步擴大自身的市場份額。公司在中高端存儲產品方面擁有完全的自主知識產權且已形成成熟豐富的產品組合，因此有望在未來中高端存儲市場領域進一步擴大自身銷售規模。

分布式存儲“漸當大任”

面向非結構化數據量爆炸式增長和存儲需求的持續升級，各廠商紛紛推出分布式存儲新品，其高性能、大容量、綠色低碳等特質，將加速海量非結構化數據進入各行各業的生產決策系統，提升生產決策效率和業務體驗。

與傳統的集中式存儲技術不同，分布式存儲沒有將數據存儲在某個特定節點上，而是通過網絡將各個節點分散的存儲資源匯聚成一個虛擬的存儲設備，將數據分散在各處。相較于集中存儲，分布式存儲成本低，擴展性好，弱化了關系數據模型，可以得到高并發和高性能。

眾所周知，傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。隨著各行業數字化轉型的加速，越來越多的數據被生產出來，分布式存儲成為企業應對海量數據挑戰的重要助力。

而且，不同類型的數據需要用不同的分布式存儲系統去處理。圖片、視頻等非結構化數據，由于個體相互之間沒有關聯，體積大，采用二級制，通常使用分布式文件系統進行存儲；自描述的數據結構和內容混在一起的半結構化數據，比較簡單的可以用分布式鍵值系統存儲，較為復雜的一般采用分布式表格系統來存儲區；結構化數據由分布式數據庫存儲。

分布式云存儲技術在數據存儲領域得到了廣泛應用，并為云計算技術的迅速發展提供了堅實的基礎。在云環境下，分布式存儲系統能夠實現計算資源和存儲資源的單獨橫向擴展，計算資源不足時直接擴容計算節點，存儲空間不足時只需擴容存儲節點，極大地節省硬件資源降低成本。


市場需求強烈，廠商紛紛推出分布式存儲方案

面對著市場上對于分布式存儲產品的需求，不少廠商已經在布局該賽道，其中不乏騰訊云、字節跳動和天翼云等國內云計算大廠，紛紛推出相應產品賦能企業加速數字化進程。

作為騰訊云的分布式存儲服務，騰訊云COS具有高擴展性、低成本、高可靠性和安全性等特點，在架構上，騰訊云COS推出新一代同城多活存儲系統，利用EC編碼技術，將數據分塊、分機房存儲，將存儲的可靠性提升了10倍，并通過新一代高可用機制，保障機房故障時，能夠讓讀寫請求正常執行，使得業務訪問可用性提升了10倍。

在智能分層存儲領域，騰訊云COS此次也推出了新的探索，其在標準層與低頻層的基礎上，將歸檔層、深度歸檔層也加入智能分層存儲的納管范圍內，實現了更大范圍、更完善的數據自動分層，從而幫助用戶選擇更合理、與業務更匹配的存儲類型，進一步降本增效。

另外一家互聯網廠商字節跳動也“不甘人后”，推出了自研分布式存儲系統ByteGraph。針對非結構化數據，ByteGraph支持數據模型，支持Gremlin查詢語言，支持靈活豐富的寫入和查詢接口，讀寫吞吐可擴展到千萬QPS，延遲毫秒級。另外，ByteGraph主要用于在線OLTP場景，而在離線場景下，非結構式數據的分析和計算需求也逐漸顯現。

目前，ByteGraph支持了頭條、抖音、 TikTok、西瓜、火山等幾乎字節跳動全部產品線，遍布全球機房。