Artėjant kasmetinei „Nvidia“ konferencijai GTC San Chosė (Kalifornija), rinkoje daugėja spėlionių, kad bendrovė netrukus gali pristatyti visiškai naują dirbtinio intelekto mikroschemą.

Dėmesį kursto dar prieš Kalėdas įvykęs, tačiau plačiau nepastebėtas sandoris: pranešama, kad „Nvidia“ už maždaug 20 mlrd. dolerių licencijavo technologijas iš lustų startuolio „Groq“ ir perviliojo dalį pagrindinių jo darbuotojų, tarp jų – ir vadovą Jonathaną Rossą.

GTC (GPU Technology Conference) – keturių dienų renginys, laikomas vienu svarbiausių dirbtinio intelekto ekosistemoje. Pagrindinį pranešimą sakys „Nvidia“ vadovas Jensenas Huangas, o pati bendrovė žada pristatyti, kaip ketina integruoti „Groq“ technologijas į savo dominuojančią AI skaičiavimo infrastruktūrą.

„Turiu keletą idėjų, kuriomis norėčiau pasidalyti GTC konferencijoje“, – per vasario pabaigoje vykusį bendrovės rezultatų aptarimą sakė J. Huangas.

Kur slypi intriga?

Pasak Volstrito analitikų, „Nvidia“ gali panaudoti „Groq“ sprendimus kurdama naują lustą, skirtą ne modelių mokymui, o jų kasdieniam naudojimui – vadinamajai inferencijai (kai modelis generuoja atsakymus į užklausas realiuoju laiku).

Iki šiol „Nvidia“ ypač stipri AI mokymo (training) etape, kai modeliai „maitinami“ milžiniškais duomenų kiekiais. Būtent tai pastaraisiais metais tapo vienu svarbiausių bendrovės augimo variklių. Tačiau inferencijos rinka sparčiai plečiasi ir tampa vis konkurencingesnė – augant AI pritaikymui, klientai ieško pigesnių ir efektyvesnių būdų aptarnauti didėjantį užklausų srautą.

Tarp konkurentų minimos ir kitos bendrovės. „Advanced Micro Devices“ siekia įsitvirtinti inferencijoje ir yra paskelbusi apie partnerystę su „Meta Platforms“. Didžiosios technologijų įmonės taip pat kuria nuosavus lustus, dažnai orientuotus būtent į inferencijos užduotis.

„Google“ TPU (Tensor Processing Units) laikomi rimtais varžovais tiek mokyme, tiek inferencijoje, o „Gemini“ pokalbių roboto sėkmė sustiprino TPU reputaciją. „Broadcom“ minima kaip „Google“ TPU bendra-kūrėja, o „Amazon“ akcentuoja savo „Trainium“ lusto galimybes abiem kryptimis. AI startuolis „Anthropic“ (kuriantis „Claude“) naudoja „Trainium“, bet kartu pasitelkia ir TPU bei yra sudaręs sandorį su „Nvidia“.

Tarp vardų vis dažniau iškyla ir „Cerebras“, kuri ruošiasi viešam akcijų siūlymui, o „Oracle“ vadovybė ją jau paminėjo viešai.

„Nvidia“ inferencijoje jau uždirba, bet nori dar daugiau

Nors „Nvidia“ dažniausiai siejama su AI mokymu, bendrovė nėra silpna ir inferencijoje. Anksčiau „Nvidia“ yra nurodžiusi, kad apie 40 proc. pajamų sudarė būtent inferencijos veikla. Pernykštėje GTC konferencijoje J. Huangas tvirtino, kad „didžioji dalis pasaulio inferencijos šiandien vyksta „Nvidia“ platformoje“.

Per naujausią rezultatų aptarimą finansų vadovė Colette Kress pabrėžė, jog leidinys „SemiAnalysis“ „paskelbė „Nvidia“ inferencijos karaliumi“, o dabartinės kartos „Grace Blackwell“ GPU esą ženkliai lenkia ankstesnę „Hopper“ architektūrą.

Kas yra „Groq“ ir kodėl „Nvidia“ to prireikė?

Sandoris su „Groq“ nebuvo klasikinis visos įmonės įsigijimas – greičiausiai tai leido sumažinti antimonopolines rizikas. Licencijavimo sutartis įvardijama kaip neišskirtinė, o „Groq“ toliau veikia ir teikia inferencijos debesijos paslaugas, naudodama savo specializuotus lustus.

Didžiausias personalo pokytis – „Groq“ įkūrėjas ir buvęs vadovas Jonathanas Rossas perėjo į „Nvidia“ ir tapo vyriausiuoju programinės įrangos architektu. Prieš įkurdamas „Groq“ 2016 m., jis dirbo „Google“ komandoje, kūrusioje pirmąjį TPU.

„Groq“ kūrė lustus, orientuotus į inferenciją – vadinamuosius LPU (Language Processing Units). J. Rossas ne kartą yra pabrėžęs, kad „Groq“ nesiekė tiesiogiai konkuruoti su „Nvidia“ mokymo srityje – startuolis matė nišą inferencijoje, kur svarbiausia greitis, efektyvumas ir mažesnė kaina.

„GPU puikiai tinka modelių mokymui. Kai kas nors nori mokyti modelį, aš tiesiog sakau: naudokite GPU. Su mumis net nekalbėkite“, – 2023 m. pabaigoje viename tinklalaidės interviu teigė J. Rossas.

Kodėl inferencija kitokia nei mokymas?

GPU pranašumas mokyme siejamas su lygiagrečiu apdorojimu – galimybe vienu metu atlikti itin daug skaičiavimų. Tai labai svarbu, kai modelis mokymo metu ieško dėsningumų didžiuliuose duomenų masyvuose.

Vis dėlto inferencijoje atsiranda daugiau nuoseklumo: generuojant tekstą ar atsakymą, dažnai negalima „pagaminti“ kito žodžio, kol nesugeneruotas ankstesnis. Todėl vien lygiagretumas ne visada suteikia maksimalų efektą – svarbus tampa ir delsos (latency) mažinimas bei vienos užklausos įvykdymo greitis.

„Kai vykdote vieną iš šių modelių – ne mokote, o naudojate jau sukurtą – jūs negalite pateikti 100-ojo žodžio, kol nepateikėte 99-ojo. Yra nuosekli dedamoji, kurios iš GPU paprasčiausiai neišimsite. Svarbu, kaip greitai užbaigiate skaičiavimą, o ne tik kiek jų galite atlikti lygiagrečiai. O mes skaičiavimus atliekame daug greičiau“, – aiškino J. Rossas.

Technologiniu požiūriu „Groq“ LPUs naudoja SRAM tipo atmintį, esančią tiesiai lusto viduje, kas didina greitį. Tuo metu GPU dažniau remiasi HBM (high-bandwidth memory), kuri yra greta lusto, bet ne pačiame jo „variklyje“. Dirbtinio intelekto bumas sukėlė HBM pasiūlos trūkumą ir išaugino atminties kainas, todėl alternatyvūs sprendimai tampa dar patrauklesni.

„Groq“ kaip „nitro“ esamai „Nvidia“ infrastruktūrai?

Dar iki pereidamas į „Nvidia“, J. Rossas yra kalbėjęs apie galimybę derinti skirtingas architektūras: dalį užduočių vykdyti LPU, o kitą dalį – GPU, taip pagreitinant darbą ir sumažinant kaštus.

„Mes esame taip beprotiškai greiti, palyginti su GPU, kad eksperimentavome: dalį modelio paleidžiame per mūsų LPU, o likusią dalį paliekame GPU. Tai pagreitina procesą ir padaro GPU ekonomiškesnį“, – yra sakęs J. Rossas, svarstydamas galimybę naudoti LPU kaip savotišką „nitro“ pagreitį jau įdiegtoms GPU sistemoms.

„Nvidia“ užuomina: „Groq“ – panašiai kaip „Mellanox“

„Nvidia“ vadovas J. Huangas yra užsiminęs, kad „Groq“ bendrovei gali tapti panašiu architektūros praplėtimu, kokiu anksčiau tapo tinklo įrangos tiekėja „Mellanox“, kurią „Nvidia“ įsigijo prieš šešerius metus. Šis sandoris laikomas itin sėkmingu, nes tinklų sprendimai tapo svarbia AI infrastruktūros dalimi ir padėjo „Nvidia“ virsti ne vien lustų kūrėja, o visapusišku AI skaičiavimo sprendimų tiekėju.

Jei „Groq“ technologijų integracija pasiteisins panašiai kaip „Mellanox“ atvejis, „Nvidia“ gali dar labiau sustiprinti pozicijas inferencijos segmente. Pirmieji aiškesni atsakymai turėtų paaiškėti jau artėjančioje GTC konferencijoje.