TOKENS
Definiție
Tokenii reprezintă unitatea de măsură fundamentală a „gândirii” unui model AI. Gândește-te la ei ca la atomii unui text: un token nu este egal cu un cuvânt, ci poate fi o silabă, un cuvânt întreg, un semn de punctuație sau chiar un spațiu. În limba română, din cauza diacriticelor și a cuvintelor compuse, raportul este aproximativ 1 cuvânt = 1,3–1,6 tokeni.
AI-ul nu „citește” propoziții, ci procesează fluxuri de tokeni. Tokenizarea este primul pas în orice procesare AI: textul tău este transformat într-o secvență de numere pe care modelul o poate analiza matematic. Cu cât un document are mai mulți tokeni, cu atât procesarea consumă mai multe resurse și, în cazul API-urilor comerciale, mai mult cost.
În lumea financiară, înțelegerea tokenilor este esențială deoarece aceștia determină atât costul (majoritatea API-urilor se plătesc la număr de tokeni), cât și limita de procesare a informației pe care o poți introduce o singură dată. Referință orientativă: 1.000 tokeni ≈ 750 cuvinte în engleză / ≈ 600 cuvinte în română.
Exemple practice
- o factură standard de 1 pagină = ~400–600 tokeni; procesarea a 1.000 facturi/lună = cost estimabil în avans
- un contract de 10 pagini = ~5.000–7.000 tokeni, deci poate depăși limita unor modele mai mici, necesitând segmentare
- optimizând promptul de extracție date de la 300 la 120 tokeni, costul per document scade cu ~60%
Întrebări frecvente
Cum se calculează costul unei cereri către AI?
La numărul de tokeni, atât cei pe care îi trimiți, cât și cei pe care îi primești înapoi. Orientativ, 1.000 de tokeni înseamnă aproximativ 750 de cuvinte în engleză. Un document lung consumă în ambele direcții, deci costul crește și la intrare, și la ieșire.
De ce textul în română consumă mai mulți tokeni?
Din cauza diacriticelor și a cuvintelor mai lungi, care se sparg în mai multe bucăți decât echivalentele din engleză. Practic, același conținut costă mai mult în română. La volume mari, diferența devine vizibilă în factură.