TRANSFORMER
Definiție
Transformer este arhitectura de rețea neuronală introdusă în 2017 de cercetătorii Google în lucrarea „Attention is All You Need”, fundația pe care sunt construite toate LLM-urile moderne. Este „T”-ul din GPT (Generative Pre-trained Transformer). Inovația centrală se numește „atenție”: mecanismul prin care modelul cântărește, pentru fiecare cuvânt, cât de relevante sunt toate celelalte cuvinte din text.
Înainte de Transformer, modelele citeau textul secvențial, cuvânt cu cuvânt, și „uitau” începutul frazelor lungi. Atenția permite procesarea întregului text simultan: când modelul întâlnește cuvântul „scadență” într-un contract, poate „privi” direct la clauza de la pagina 3 care o definește. Această procesare paralelă a făcut posibilă și antrenarea pe volume uriașe de date, deblocând scara actuală a modelelor.
Pentru un profesionist financiar, Transformer-ul explică de ce AI-ul modern înțelege contextul, nu doar cuvintele: același termen „provizion” e interpretat diferit într-un contract de muncă față de o notă contabilă, pentru că modelul cântărește tot contextul din jur. Este și motivul pentru care documentele lungi pot fi analizate coerent cap-coadă.
Exemple practice
- La întrebarea „care e penalitatea de întârziere?” pe un contract de 20 de pagini, mecanismul de atenție leagă automat întrebarea de clauza 12.3, oriunde s-ar afla ea.
- Analiza unei corespondențe email de 50 de mesaje despre un litigiu comercial: modelul urmărește firul argumentației pentru că fiecare mesaj e pus în relație cu toate celelalte.
- Practic, toate instrumentele AI pe care le folosești (Claude, ChatGPT, Gemini, Copilot) au la bază aceeași arhitectură Transformer, diferențele venind din date, dimensiune și rafinare.