COMPUTE (GPU / TPU)
Definiție
„Compute” este puterea de calcul necesară antrenării și rulării modelelor AI, furnizată de procesoare specializate: GPU-uri (plăci grafice, dominate de Nvidia) și TPU-uri (cipurile proprietare Google). Spre deosebire de procesoarele clasice, acestea execută milioane de operații matematice simple în paralel, exact ce cere aritmetica rețelelor neuronale.
Compute a devenit materia primă strategică a industriei: rară, scumpă și concentrată, fiindcă accesul la zeci de mii de GPU-uri de ultimă generație separă laboratoarele de frontieră de restul lumii, iar comenzile gigant și listele de așteptare au transformat cipurile în subiect geopolitic (controale la export, curse naționale de infrastructură). Pentru economia AI, regula de bază: antrenarea cere compute colosal concentrat o dată; inferența cere compute moderat, dar perpetuu, la fiecare utilizare.
Pentru un profesionist financiar, compute explică structura de costuri din spatele prețurilor AI pe care le plătești: de ce modelele mari costă mai mult per token, de ce capacitatea e uneori raționalizată la orele de vârf, și de ce rapoartele financiare ale marilor furnizori de cloud au devenit lectură obligatorie pentru înțelegerea sectorului. E și vocabularul din spatele știrilor de investiții: miliardele anunțate în „AI infrastructure” sunt, în esență, compute.
Exemple practice
- Diferența de preț per token dintre modelul mic și cel flagship reflectă direct diferența de compute consumat la fiecare răspuns; plătești FLOPS, nu magie.
- În analiza sectorului: cheltuielile de capital ale hyperscalerilor în centre de date AI au atins ordinul sutelor de miliarde de dolari pe an, cifră de urmărit în rapoartele lor trimestriale.
- Decizie de arhitectură internă: sarcinile de rutină rulează pe modele mici (compute ieftin), analizele grele pe modele mari (compute scump); bugetul AI se gestionează ca orice cost de producție.
Întrebări frecvente
Care e diferența dintre GPU și TPU?
GPU-ul e procesorul grafic, adaptat pentru calculul paralel, piața fiind dominată de Nvidia. TPU-ul e un cip proiectat de Google special pentru calculele rețelelor neuronale. Ambele fac același tip de muncă: foarte multe operații simple, în paralel.
De ce mă interesează, dacă doar folosesc un asistent AI?
Pentru că explică prețurile. Modelele mari consumă mai mult calcul la fiecare răspuns, deci costă mai mult pe token, iar capacitatea limitată explică de ce unele servicii raționalizează utilizarea la orele de vârf.
Ce înseamnă antrenare și inferență, în costuri?
Antrenarea e efortul uriaș, făcut o dată, prin care se construiește modelul. Inferența e calculul făcut la fiecare utilizare. Prima e un cost de investiție, a doua un cost de funcționare care crește odată cu numărul de utilizatori.