DISTILLATION
Definiție
Distilarea este tehnica prin care un model mare, „profesorul”, antrenează un model mic, „elevul”: elevul învață să imite răspunsurile profesorului, nu să redescopere totul din date brute. Rezultatul e un model compact care păstrează o mare parte din competența celui mare, la o fracțiune din costul de rulare.
Analogia din practică: partenerul senior nu-i dă juniorului toată biblioteca de legislație fiscală, ci ghiduri sintetice cu spețe rezolvate, iar juniorul devine rapid competent pe cazurile frecvente, chiar dacă nu are profunzimea seniorului pe cazurile exotice. La fel, modelul distilat excelează pe tiparele comune și cedează pe situațiile rare. Tehnica a devenit celebră odată cu DeepSeek R1, care a demonstrat cât de mult din capacitatea unui model scump poate fi transferată ieftin.
Relevanța pentru business: distilarea este motivul pentru care apar constant modele mici și ieftine surprinzător de bune, dar și instrumentul prin care furnizorii de software contabil pot oferi funcții AI la prețuri accesibile, rulând modele distilate specializate pe sarcinile lor. Merită știut și că distilarea neautorizată a modelelor concurente este o zonă de dispută juridică între laboratoarele AI.
Exemple practice
- Un furnizor de soft de contabilitate distilează un model mare pe sarcina „încadrare cheltuieli”: modelul rezultat rulează pe serverele proprii, la cost mic per client.
- Modelul distilat rezolvă corect situațiile frecvente (facturi standard, deconturi), dar pe o speță de TVA intracomunitar atipică e nevoie de escaladare la modelul mare.
- Strategie de cost: în loc să plătești API-ul modelului flagship pentru fiecare document, folosești un model distilat pentru volumul mare și păstrezi flagship-ul pentru excepții.