MIXTURE OF EXPERTS (MoE)
Definiție
Mixture of Experts este o arhitectură în care modelul, deși uriaș pe hârtie, activează pentru fiecare cerere doar o mică parte din el: „experții” relevanți pentru sarcina respectivă. Un mecanism de rutare intern decide, token cu token, ce experți intră în joc: unul „bun la cod”, altul „bun la limbaj juridic”, altul la calcule.
Analogia firească e cabinetul de consultanță: ai 50 de specialiști în firmă, dar la un dosar de TVA lucrează doar cei 3 relevanți; nu convoci toată firma pentru fiecare client. Rezultatul: modelul păstrează cunoașterea unui sistem gigantic, dar consumă la fiecare cerere doar resursele unei părți din el, deci e mai rapid și mai ieftin de rulat decât un model dens de aceeași dimensiune.
Pentru utilizatorul din finanțe, MoE e un detaliu „sub capotă”, dar explică o realitate de piață: cum pot furnizorii să ofere modele tot mai capabile fără prețuri proporțional mai mari. Multe modele moderne de top folosesc această arhitectură, iar eficiența MoE este unul dintre motoarele scăderii constante a costului per token.
Exemple practice
- La analiza unui contract de leasing, se activează „experții” pe limbaj juridic și calcul financiar; la generarea unui email către client, cu totul alții: același model, resurse diferite.
- Un model MoE cu sute de miliarde de parametri totali poate activa doar câteva zeci de miliarde per cerere; de aici viteza surprinzătoare pentru dimensiunea lui.
- La compararea ofertelor API: două modele cu „aceeași dimensiune” pot avea costuri de rulare foarte diferite, iar arhitectura MoE e adesea explicația celui mai ieftin.