突破數據瓶頸，浪潮高性能存儲平臺加速產業數智化變革

北京2023年8月31日 /美通社/ -- 當前，AIGC技術的爆發，讓產業智能化和智能產業化進入高速發展期，數據作為關鍵生產要素，正在成為這輪全球增長和科技創新的引擎。近日，浪潮參加由百易傳媒舉辦的2023全球閃存峰會，并在會上重磅發布高性能分布式存儲平臺AS15000G7，以在性能、管理、融合和效率方面追求極致的智慧存儲新品，構筑智慧世界基石，推進AI產業化變革。

AI大模型對數據存儲產業帶來的機遇與挑戰

AIGC是當前通用人工智能產業發展創新的核心技術，其具備強大的認知智能，在搜索引擎、藝術創作、影音游戲，以及金融、教育、醫療、工業等領域有著廣闊的應用前景。Gartner預測，到2023年將有20%的內容被AIGC所創建；到2025 年人工智能生成數據占比將達到10%。據分析師預測，到2032年，生成式AI市場規模將達到2,000億美元，占據人工智能支出總額的約20%，明顯高出當前的5%。換言之，未來十年市場規模可能每兩年就會翻一番。

AIGC的爆發，源自于大模型的逐漸成熟，大模型成熟的先決條件是大規模高質量的數據、強大的算力和成熟優化的算法，而其中，數據質量和數量決定了算法的效果和性能。隨著參數量和數據量的極速膨脹，數據存儲與管理正在成為制約AIGC產業發展的瓶頸：一是要支撐基于海量多元異構數據的歸集、標注、訓練、推理和歸檔全生命周期管理；二是要承載AIGC數據訓練推理時的高性能、低延時、大容量、易擴展、自由流動的嚴苛需求。大模型訓練數據多元、數據作業流程長、多態大模型數據量持續增長、多模計算大模型性能要求高，對當前AI數據存儲基礎設施提出了新挑戰：

• 數據歸集與準備：大模型的數據包括從互聯網及數字圖書館上收集的海量文本型數據，以及多渠道獲取的圖片型和視頻型數據，對這些多元異構海量數據預處理后才能用于大模型訓練，在此作業流程中數據的搬運和加載，要去存儲系統多協議互訪互通，存儲成為應用平臺的關鍵瓶頸；
• 數據訓練：大模型海量多元異構數據的訓練，通常采用將數據加載到成百上千個節點內存中并行計算的方法，此過程中頻繁地從數據集取Token，每個Token一般4字節，實時高并發小IO性能需要極低的延遲，對數據存儲系統的吞吐性能提出了嚴苛的要求；
• 數據推理：機器學習大模型要求頻繁的參數調優，當服務器故障、網絡故障造成節點中斷時，需要數據存儲提供高帶寬，確保Checkpoint機制可以快速訪問數據，使數據能夠重新加載，訓練能夠快速恢復；
• 數據歸檔：越多的數據投喂結果越精準的工作原理，決定了大模型訓練存在深度學習網絡層數多、連接多、參數和數據集種類復雜、數據量大的特征，大模型訓練過程中快速迭代，產生大量訓練數據和人工標注數據，對這些資產高效存儲與管理，且最大化數據基礎設施投資回報比，成為數據基礎設施廠商必須解決的問題。

浪潮高性能分布式存儲平臺AS15000G7

產業發展的根本在于科技創新。浪潮作為最早布局AI產業的企業之一，圍繞智算中心業務布局，打造了算力、算法、數據全棧解決方案。在數據存儲領域，浪潮秉承"存儲即平臺"的產品理念，準確識別客戶痛點積極布局面向AIGC應用場景的數據全生命周期存儲解決方案，并基于業界對大模型訓練的數據存儲在性能、管理、融合和效率方面更極致的需求，重磅發布高性能分布式存儲AS15000G7平臺，助力AIGC在金融、教育、醫療等領域突破海量多元異構數據存力瓶頸，加速釋放數據價值。

極致性能，加速AI大模型訓練。AS15000G7采用高吞吐并行存儲系統，通過GDS、RDMA技術縮短I/O路徑；通過智能元數據管理，提前緩存用戶數據和文件系統元數據，顯著提升數據訪問和檢索速度；獨有的智能網絡優化技術，可實現多個子網與指定目的地通信，每對守護進程之間建立多個TCP連接并通信，顯著提升網絡端口并發能力，實現傳輸端口帶寬翻數倍，時延縮短50%以上，小文件級傳輸的時延可降至毫秒級。

極致管理，AI訓練全流程透明可控。AS15000G7新品可同時搭載AIStation調度平臺和InView數據管理平臺，對AI服務器、網絡、存儲智能運維。支持訓練推理全流程的多租戶管理、資源分配、數據管理分析；支持本地和云端的系統性能監控，其中云端監控支持多數據中心統一界面管理，自動預警功能可幫助本地運維人員早發現問題早處理， HDD/SSD壽命和故障預測功能在14天內的準確率高于95%，處于業界領先水平，可幫助客戶提前做好設備更新迭代規劃，保證數據的可靠性和可用性；同時支持納管多品牌存儲系統，實現IT設備高利用率。總得來說，一套存儲平臺可以實現對AIGC數據采集、清洗、訓練、推理、歸檔不同場景全流程的設備資源監控和管理，助力客戶更加專注于大模型訓練本身。

極致融合，海納多源異構巨量數據。AS15000G7平臺基于其融合架構，支持文本、圖片、音頻、視頻等多種類型數據存儲，可對文件、對象、大數據以及視頻的存儲方式進行并行訪問，支持多協議實時互訪互通和系統扁平擴展。而且數據訪問過程中保持語義一致、性能無損，從而對AI大模型海量多源異構非結構化數據實現高效共享。

極致效率，提升用戶IT設備投資回報比。AS15000G7平臺基于自動化的數據分層和遷移，在確保對應用安全透明的前提下，可實現熱溫冷冰數據全生命周期的管理，通過基于閃存、磁盤、磁帶、光盤的性能型、均衡型、容量型三種機型的按需靈活配置，存儲TB級數據成本可降低超50%，TCO降低35%。

"當前，各個廠商紛紛投資IT基礎設施，訓練自己的大模型，國內已發布的AI模型超過了100個，'百模爭秀'的格局初現，云廠商和運營商對IT硬件的投資往往是數千甚至上萬節點規模，而行業型大廠投資在幾百節點規模，在建設布局時考慮到AI大模型對高性能AI服務器、高吞吐并行存儲系統、低延遲RDMA網絡的嚴苛需求，將數據中心的計算、全閃存儲、混閃存儲按照1:1:1黃金比例建設，用戶可最大化獲得投資回報比。"浪潮信息存儲產品線副總經理劉希猛表示。

得益于前瞻布局和技術創新，浪潮高性能分布式存儲AS15000G7平臺，已在"源"大模型中部署，并在智能客服、生物識別、互聯網金融、精準營銷等云數智新場景廣泛應用。面對生成式AI掀起的變革浪潮，浪潮將秉承"存儲即平臺"的產品理念，不斷精耕數據存儲產品和解決方案，以極致性能、極致管理、極致融合、極致效率的數據存儲基礎設施，讓數據存力像水電一樣賦能千行百業，服務大眾，成為人人可見、普適易用、高效互聯的基礎設施，革命性地提升人類生產生活水平。