通信世界網(wǎng)消息（CWW）數(shù)據(jù)作為數(shù)字經(jīng)濟(jì)時(shí)代最核心、最具價(jià)值的生產(chǎn)要素正在加速滲透，成為全球經(jīng)濟(jì)增長(zhǎng)的新動(dòng)力和新引擎。尤其是AI大模型爆火以來(lái)，數(shù)據(jù)呈指數(shù)級(jí)速度增長(zhǎng)，數(shù)據(jù)流動(dòng)加速，在“百模大戰(zhàn)”的角逐中，作為基礎(chǔ)設(shè)施的存力，其重要性也日益凸顯。

AI大模型面臨四大挑戰(zhàn)

數(shù)據(jù)存儲(chǔ)是算力基礎(chǔ)設(shè)施的核心組成，是信息的起始和重點(diǎn)，優(yōu)質(zhì)的數(shù)據(jù)存儲(chǔ)不僅會(huì)賦能數(shù)據(jù)存力發(fā)展，而且還會(huì)驅(qū)動(dòng)AI大模型的建設(shè)和發(fā)展。

今年以來(lái)，自ChatGPT發(fā)布后，多家企業(yè)先后發(fā)布了自己的大模型產(chǎn)品，據(jù)不完全統(tǒng)計(jì)，全球已發(fā)布數(shù)百個(gè)大模型，僅在中國(guó)就發(fā)布了80多個(gè)。AI大模型儼然成為互聯(lián)網(wǎng)的“新風(fēng)口”，在這場(chǎng)AI帶來(lái)的新變革中，企業(yè)紛紛緊跟時(shí)代浪潮，建立自己的大模型。

而企業(yè)在開發(fā)及實(shí)施大模型應(yīng)用過(guò)程中，通常會(huì)面臨著諸多挑戰(zhàn)。首先，數(shù)據(jù)準(zhǔn)備時(shí)間長(zhǎng)，數(shù)據(jù)來(lái)源分散、歸集慢，預(yù)處理百TB數(shù)據(jù)需10天左右；其次，多模態(tài)大模型以海量文本、圖片為訓(xùn)練集，當(dāng)前海量小文件的加載速度不足100MB/s，訓(xùn)練集加載效率低；再次，大模型參數(shù)頻繁調(diào)優(yōu)，訓(xùn)練平臺(tái)不穩(wěn)定，平均約2天出現(xiàn)一次訓(xùn)練中斷，需要Checkpoint機(jī)制恢復(fù)訓(xùn)練，故障恢復(fù)耗時(shí)超過(guò)一天；最后，大模型實(shí)施門檻高，系統(tǒng)搭建繁雜，資源調(diào)度難，GPU資源利用率通常不到40%。

更為嚴(yán)重的是，甚至有些企業(yè)目前對(duì)數(shù)據(jù)存儲(chǔ)重視程度還尚顯不足。隨著AI大模型的升溫，各地紛紛投入建設(shè)AI算力中心，加大了對(duì)算力的重視程度。但是算力中心的起步離不開數(shù)據(jù)存儲(chǔ)能力作為基礎(chǔ)，如果沒(méi)有適當(dāng)?shù)拇媪ε浜希敲此懔Φ淖饔镁偷玫讲坏匠浞职l(fā)揮。

兩款A(yù)I存儲(chǔ)新品發(fā)布，助推AI賦能千行百業(yè)

日前，華為順應(yīng)大模型時(shí)代AI發(fā)展趨勢(shì)，針對(duì)不同行業(yè)、不同場(chǎng)景大模型應(yīng)用，推出OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ)與FusionCube A3000訓(xùn)/推超融合一體機(jī)。

其中，OceanStor A310深度學(xué)習(xí)數(shù)據(jù)湖存儲(chǔ)，面向基礎(chǔ)/行業(yè)大模型數(shù)據(jù)湖場(chǎng)景，實(shí)現(xiàn)從數(shù)據(jù)歸集、預(yù)處理到模型訓(xùn)練、推理應(yīng)用的AI全流程海量數(shù)據(jù)管理。OceanStor A310單框5U支持業(yè)界最高的400GB/s帶寬以及1200萬(wàn)IOPS的最高性能，可線性擴(kuò)展至4096節(jié)點(diǎn)，實(shí)現(xiàn)多協(xié)議無(wú)損互通。全局文件系統(tǒng)GFS實(shí)現(xiàn)跨地域智能數(shù)據(jù)編織，簡(jiǎn)化數(shù)據(jù)歸集流程；通過(guò)近存計(jì)算實(shí)現(xiàn)近數(shù)據(jù)預(yù)處理，減少數(shù)據(jù)搬移，預(yù)處理效率提升30%。

而FusionCube A3000訓(xùn)/推超融合一體機(jī)，則面向行業(yè)大模型訓(xùn)練/推理場(chǎng)景，針對(duì)百億級(jí)模型應(yīng)用，集成OceanStor A300高性能存儲(chǔ)節(jié)點(diǎn)、訓(xùn)/推節(jié)點(diǎn)、交換設(shè)備、AI平臺(tái)軟件與管理運(yùn)維軟件，為大模型伙伴提供拎包入住式的部署體驗(yàn)，實(shí)現(xiàn)一站式交付。開箱即用，2小時(shí)內(nèi)即可完成部署。訓(xùn)/推節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)均可獨(dú)立水平擴(kuò)展，以匹配不同規(guī)模的模型需求。同時(shí)FusionCube A3000通過(guò)高性能容器實(shí)現(xiàn)多個(gè)模型訓(xùn)練推理任務(wù)共享GPU，將資源利用率從40%提升到70%以上。FusionCube A3000支持兩種靈活的商業(yè)模式，包括華為昇騰一站式方案，以及開放計(jì)算、網(wǎng)絡(luò)、AI平臺(tái)軟件的第三方伙伴一站式方案。

此外，如何保證數(shù)據(jù)的安全流轉(zhuǎn)也是大模型時(shí)代企業(yè)廣泛關(guān)注的問(wèn)題。數(shù)據(jù)存儲(chǔ)是數(shù)據(jù)安全的第一道防線，在AI大模型的數(shù)據(jù)歸集過(guò)程中，企業(yè)需要安全地將不同地點(diǎn)、不同節(jié)點(diǎn)的數(shù)據(jù)歸集到一個(gè)地方，這在安全性上有著非常大的挑戰(zhàn)。面對(duì)企業(yè)的大模型數(shù)據(jù)安全需求，華為透露正在研發(fā)一種數(shù)據(jù)方艙技術(shù)，通過(guò)將數(shù)據(jù)及其相關(guān)憑證、隱私、權(quán)限等信息共同流轉(zhuǎn)，從而對(duì)數(shù)據(jù)產(chǎn)生極致保護(hù)。

“大模型時(shí)代，數(shù)據(jù)決定AI智能的高度?！比A為數(shù)據(jù)存儲(chǔ)產(chǎn)品線總裁周躍峰在新品發(fā)布會(huì)現(xiàn)場(chǎng)表示，作為數(shù)據(jù)的載體，數(shù)據(jù)存儲(chǔ)成為AI大模型的關(guān)鍵基礎(chǔ)設(shè)施。華為數(shù)據(jù)存儲(chǔ)未來(lái)將持續(xù)創(chuàng)新，面向AI大模型時(shí)代提供多樣化的方案與產(chǎn)品，攜手伙伴共同推進(jìn)AI賦能千行百業(yè)。