[Čína, Shenzhen, 14. júla 2023] Spoločnosť Huawei dnes predstavila svoje nové úložné riešenie s umelou inteligenciou pre éru veľkých modelov, ktoré poskytuje optimálne úložné riešenia pre tréning základných modelov, školenia modelov špecifických pre dané odvetvie a odvodenie v segmentovaných scenároch. uvoľnenie nových schopností AI.
Pri vývoji a implementácii rozsiahlych modelových aplikácií čelia podniky štyrom hlavným výzvam:
Po prvé, čas potrebný na prípravu údajov je dlhý, zdroje údajov sú rozptýlené a agregácia je pomalá, pričom predspracovanie stoviek terabajtov údajov trvá približne 10 dní. Po druhé, pre multimodálne veľké modely s rozsiahlymi textovými a obrázkovými súbormi údajov je aktuálna rýchlosť načítania veľkých malých súborov nižšia ako 100 MB/s, čo má za následok nízku efektivitu načítania tréningovej sady. Po tretie, časté úpravy parametrov pre veľké modely spolu s nestabilnými tréningovými platformami spôsobujú prerušenie tréningu približne každé 2 dni, čo si vyžaduje mechanizmus Checkpoint na obnovenie tréningu, pričom regenerácia preberá jeden deň. A napokon vysoké implementačné prahy pre veľké modely, zložité nastavenie systému, problémy s plánovaním zdrojov a využitie zdrojov GPU často pod 40 %.
Huawei sa pripája k trendu vývoja AI v ére veľkých modelov a ponúka riešenia šité na mieru pre rôzne odvetvia a scenáre. Predstavuje OceanStor A310 Deep Learning Data Lake Storage a FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage sa zameriava na základné aj priemyselné scenáre veľkých modelových dátových jazier, čím sa dosahuje komplexná správa dát AI od agregácie dát, predspracovania až po modelové školenia a aplikácie na odvodenie. OceanStor A310 v jedinom 5U racku podporuje špičkovú šírku pásma 400 GB/s a až 12 miliónov IOPS s lineárnou škálovateľnosťou až do 4096 uzlov, čo umožňuje bezproblémovú komunikáciu medzi protokolmi. Globálny súborový systém (GFS) uľahčuje inteligentné prelínanie údajov medzi regiónmi a zefektívňuje procesy agregácie údajov. Near-storage computing realizuje predspracovanie takmer údajov, čím sa znižuje pohyb údajov a zvyšuje sa účinnosť predspracovania o 30 %.
Super-konvergované zariadenie FusionCube A3000 Training/Inference, navrhnuté pre tréningové/inferenčné scenáre veľkých modelov na priemyselnej úrovni, sa stará o aplikácie zahŕňajúce modely s miliardami parametrov. Integruje vysokovýkonné úložné uzly OceanStor A300, školiace/inferenčné uzly, prepínacie vybavenie, softvér platformy AI a softvér na správu a prevádzku, čím poskytuje veľkým modelovým partnerom skúsenosti s nasadením typu plug-and-play pre dodávku na jednom mieste. Pripravený na použitie, môže byť nasadený do 2 hodín. Tréningové/inferenčné aj úložné uzly môžu byť nezávisle a horizontálne rozšírené tak, aby zodpovedali rôznym požiadavkám na modelové rozmery. Medzitým FusionCube A3000 využíva vysokovýkonné kontajnery na umožnenie viacerých modelových tréningových a odvodňovacích úloh na zdieľanie GPU, čím sa zvyšuje využitie zdrojov zo 40 % na viac ako 70 %. FusionCube A3000 podporuje dva flexibilné obchodné modely: Huawei Ascend One-Stop Solution a komplexné riešenie od tretích strán s otvoreným výpočtovým, sieťovým a platformovým softvérom AI.
Zhou Yuefeng, prezident spoločnosti Huawei pre produktovú líniu dátových úložísk, uviedol: „V ére veľkých modelov určujú výšku inteligencie AI dáta. Ako nosič údajov sa úložisko údajov stáva kľúčovou základnou infraštruktúrou pre veľké modely AI. Huawei Data Storage bude pokračovať v inováciách a bude poskytovať diverzifikované riešenia a produkty pre éru veľkých modelov AI a spolupracovať s partnermi na posilňovaní AI v celom rade priemyselných odvetví.
Čas odoslania: 1. august 2023
