面對智算應用的大規模部署，用戶的IT開支正在向GPU傾斜。在大模型訓練的成本構成中，硬件投資包括算力、運力、存力，其中算力相關硬件投資占比80%。一個千億級參數的大模型，往往需要上萬顆GPU的算力，可在實際訓練過程中，GPU的平均利用率卻不足50%。制約因素包括大模型參數需要頻繁調優、訓練中斷后恢復周期長、數據加載速度慢等等。如何確保智算系統高效運行？加速算力的同時，提升數據供給能力，或許是當下應對智算挑戰的最優解。

大模型需要什么樣的存儲性能？

一次完整的AI大模型訓練流程，通常分為數據集準備、模型開發、模型訓練、模型推理幾個階段。其中每個階段對數據存儲的性能需求并不十分一致，屬于混合復雜異構的工作負載，要求數據存儲系統提供強大的綜合性能表現。

舉例來說，數據集準備階段，涉及到不同終端、不同來源的大量數據，來源豐富且規模巨大，這些數據都需要存儲到系統中，需要數據存儲提供較大的帶寬性能和高吞吐能力；此外，在長時間訓練模型時，需要定期將階段性的訓練成果寫入硬盤，這個過程即Checkpoint，這個過程對存儲系統的小文件讀寫性能和帶寬性能都要求非常高，如果存儲系統性能不足，就會出現加載效率低，GPU空等的情況，從而拉低整個訓練效率。

強悍存力，提升智算系統算力利用率

基于新一代傲擎平臺的新華三AI數據存儲平臺H3C UniStor Polaris X20000系列，通過對存儲軟件棧進行重構和優化，大幅精簡系統無效IO，優化數據讀寫路徑，單節點性能就可實現80GB帶寬和200萬IOPS，大幅提升不同階段的數據加載效率，可以減少30%的訓練等待時間，保障智算系統的有效算力供給。

Polaris X20000系列通過多項技術革新提升在智算場景下的性能體驗，包括：

元數據性能優化

對高性能智算存儲來說，元數據管理是至關重要的部分，將直接影響到文件系統的性能、可擴展性和可靠性。Polaris X20000系列創新性地針對分布式kv數據庫進行了優化，來支撐整個元數據讀寫需求；同時設計了多級的元數據緩存，對元數據緩存結構做了針對性精簡，減少內存占用，對元數據訪問具有極大的加速效果。此外，采取多MDS、元數據打散、元數據協程化免鎖等多種元數據性能優化手段，提升Polaris X20000系列的性能表現。

CPU智能分組

Polaris X20000系列針對AI/HPC 場景做了深度分析和軟件優化設計，對CPU實現智能分組、綁核處理，實現專核專用，避免資源搶占，減少核間調度，最大程度發揮CPU性能。

高性能EPC客戶端

同時，通過獨有的高性能EPC客戶端，Polaris X20000系列可同時連接多個存儲節點，對上層應用提供標準POSIX和MPI-IO接口，獲得更好的兼容性和更優的性能，多存儲節點實現IO級負載均衡，最大程度發揮單節點性能。

AI訓練綜合負載能力提升

高帶寬：通過RDMA、內存零拷貝、EPC、400G網絡(結合硬件交換機)提升系統并行訪問能力，實現高帶寬性能；

高IOPS：通過Dcache技術，在小IO讀寫時，先寫入高速緩存層，并通過ROW寫時重定向快照，將多個小IO聚合成為大IO再一次性落盤，提升IOPS性能表現；

混合負載優化：在 EC邏輯層之上引入加速引擎層，對不同IO實現分組與流控調度，可同時滿足大IO高帶寬、小IO高IOPS與低時延的“混合負載”需求。

當前，大模型參數從千億向萬億演進，更大的模型參數需要更大規模的算力供給。新華三基于對智算場景的深入理解，對數據存儲產品實現持續優化。面向未來，新華三集團將秉持“精耕務實，為時代賦智慧”的理念，不斷深化“內生智能·成就智慧存儲”技術戰略，充分發揮自身在數字領域的創新優勢，持續推動產品的智能進化，攜手百行百業激發數據潛能，邁向智能新未來。