LOST IN THE MIDDLE
Definiție
Lost in the middle descrie o observație precisă despre felul în care modelele folosesc textele lungi: informația așezată la începutul și la sfârșitul contextului e regăsită mult mai sigur decât cea din mijloc. Curba performanței are formă de U, cu un vârf la capete și o adâncitură la centru. Termenul vine dintr-o lucrare academică din 2023, devenită referință, care a testat modele pe sarcini de regăsire a unei informații ascunse într-un text lung, mutându-i poziția.
Diferența față de context rot e utilă și des ignorată: context rot spune că lucrurile se degradează pe măsură ce textul crește, lost in the middle spune unde anume în text se pierde informația. Împreună explică o experiență familiară oricui a încărcat un document de o sută de pagini și a primit un răspuns care ignoră tocmai capitolul din mijloc. Cauza nu e o eroare de programare, ci felul în care e distribuită atenția modelului, iar efectul se manifestă și la modelele care anunță ferestre de context foarte mari.
Consecința practică se aplică la fiecare prompt cu material atașat. Instrucțiunea cea mai importantă se pune la început sau, mai bine, se repetă la final, imediat înainte de întrebare. Documentele lungi nu se încarcă întregi când știi ce cauți: se decupează secțiunea relevantă. Iar când chiar ai nevoie de tot documentul, întrebarea se pune pe secțiuni, nu global. Pentru munca cu contracte, norme sau documentații lungi, verificarea minimă e să întrebi modelul din ce parte a documentului provine răspunsul, și să te uiți acolo.
Exemple practice
- Document de o sută de pagini, întrebare despre o clauză din capitolul cinci: răspunsul ignoră exact acea secțiune. Aceeași întrebare pe capitolul decupat separat primește răspunsul corect.
- Prompt lung cu multe reguli: regula esențială se repetă în ultima frază, imediat înainte de întrebare. Simplu, și schimbă vizibil rata de respectare.
- Verificare la răspunsuri bazate pe documente lungi: cere modelului să indice secțiunea din care a extras informația, apoi deschide acolo. Dacă nu poate indica sursa, răspunsul nu e verificat.
Întrebări frecvente
Care e diferența față de context rot?
Context rot descrie degradarea generală odată cu creșterea volumului de text. Lost in the middle descrie distribuția acestei degradări în interiorul textului: capetele sunt folosite bine, mijlocul mai prost. Sunt două fețe ale aceleiași limitări.
Problema a fost rezolvată la modelele noi?
S-a atenuat, dar nu a dispărut, iar ferestrele de context au crescut mai repede decât capacitatea de a le folosi uniform. Practica de a pune instrucțiunea importantă la final rămâne utilă indiferent de model.
Ce fac dacă trebuie să analizez un document lung întreg?
Îl împarți pe secțiuni și pui întrebarea pe fiecare, apoi ceri sinteza răspunsurilor. E mai lent decât o singură întrebare, dar e singura variantă la care poți verifica ce a fost efectiv citit.