QUANTIZATION
Definiție
Cuantizarea reduce precizia numerelor cu care e stocat un model, de exemplu de la 16 biți la 4 biți per parametru, pentru a-l face de câteva ori mai mic și mai rapid, cu o pierdere de calitate de regulă minimă. Modelul rămâne același „creier”, doar scris cu mai puține zecimale.
Analogia contabilă e naturală: e ca rotunjirea la leu în rapoartele de management, unde pierzi banii de sub un leu, dar tabloul rămâne corect și mult mai ușor de citit. La fel, un model cuantizat pierde nuanțe fine, dar pe majoritatea sarcinilor practice diferența e greu de observat. Capcana: la cuantizări agresive, degradarea devine vizibilă exact pe sarcinile delicate, adică pe calcule precise și raționamente lungi.
Relevanța practică: cuantizarea este ce face posibilă rularea modelelor pe hardware obișnuit, fiindcă un model care cerea un server cu GPU-uri scumpe poate rula, cuantizat, pe un laptop de birou. Pentru un cabinet care vrea AI local din motive de confidențialitate, modelele cuantizate sunt de obicei calea de intrare cu buget rezonabil.
Exemple practice
- Un model de 14 miliarde de parametri, cuantizat pe 4 biți, încape în memoria unui laptop cu 16 GB RAM și clasifică local documentele clienților.
- Test intern înainte de adopție: rulezi aceleași 100 de facturi prin varianta plină și cea cuantizată; dacă extragerile coincid, alegi varianta ieftină.
- Pentru verificarea aritmetică a deconturilor alegi varianta necuantizată sau un model mai mare: precizia numerică e exact zona unde cuantizarea agresivă doare.