TRAINING / PRETRAINING
Definiție
Antrenarea este procesul prin care un model își formează „cunoașterea”: parcurge miliarde de exemple de text (preantrenarea), învățând să prezică următorul token, iar parametrii interni se ajustează treptat până când tiparele limbajului, faptele și raționamentele frecvente sunt codificate în model. Este faza cea mai scumpă din viața unui model: luni de calcul pe mii de procesoare specializate.
Analogia profesională: preantrenarea e facultatea plus toată biblioteca citită vreodată, adică formare generală, o singură dată; fine-tuning-ul care urmează e specializarea la locul de muncă; inferența e ziua de lucru efectivă. Consecința esențială: modelul „știe” doar ce a văzut la antrenare; de aici data-limită a cunoștințelor (knowledge cutoff) și necesitatea RAG sau a căutării web pentru informații recente.
Pentru practica financiară, două implicații concrete: legislația apărută după antrenarea modelului nu există pentru el, deci verifică întotdeauna actualitatea normelor citate; și invers, tot ce a fost public pe internet la antrenare poate fi în model, motiv în plus să nu introduci date confidențiale în instrumente care le-ar putea folosi pentru antrenări viitoare.
Exemple practice
- Modelul citează o cotă de TVA valabilă la data antrenării lui, nu cea curentă; pentru legislație folosești RAG sau căutare web, nu memoria modelului.
- Un furnizor își antrenează modelul de extragere pe milioane de facturi europene; de aceea recunoaște formate pe care nu le-a „văzut” niciodată identic.
- Politica internă a cabinetului: verifică în setările fiecărui instrument AI dacă datele introduse sunt folosite la antrenare și dezactivează opțiunea pentru datele clienților.