CONTEXT ROT
Definiție
Context rot e fenomenul prin care calitatea răspunsurilor unui model scade pe măsură ce crește cantitatea de text din context, chiar și la sarcini simple. Contrazice intuiția firească după care o fereastră de context mai mare înseamnă automat rezultate mai bune: modelul nu își folosește contextul uniform, iar de la un punct încolo fiecare pagină în plus îl ajută mai puțin și îl încurcă mai mult. Confuzia frecventă e că modelul ar „uita” ce i-ai spus. Nu uită, fiindcă informația e în continuare acolo; nu o mai regăsește la fel de sigur.
Studiul de referință, publicat de Chroma în iulie 2025 pe optsprezece modele, a izolat lungimea intrării ca variabilă și a arătat că degradarea apare chiar și la sarcini triviale, cum ar fi repetarea unui cuvânt. Efectul se accentuează când întrebarea seamănă puțin cu răspunsul căutat și când în text există informații apropiate ca subiect, dar irelevante, numite distractori. Semnele practice sunt recognoscibile: modelul revine la o variantă corectată în urmă cu douăzeci de mesaje, contrazice o regulă stabilită la începutul discuției, sau propune iar o soluție respinsă deja. E înrudit cu fenomenul lost in the middle, care descrie unde anume din context se pierde informația.
Consecința practică e o schimbare de obicei, nu de instrument: conversațiile lungi nu se continuă la nesfârșit, se închid. Într-o sesiune de lucru pe o unealtă, semnalul de oprire e chiar comportamentul de mai sus, iar reacția corectă e o conversație nouă, care începe cu starea curentă rezumată în câteva rânduri și cu fișierele relevante atașate, nu cu tot istoricul. Pentru un cabinet, regula se scrie simplu: contextul se curăță deliberat, iar instrucțiunile care trebuie să reziste nu se lasă într-un mesaj vechi, ci se pun într-un loc permanent, adică într-un proiect, într-un fișier de instrucțiuni sau într-o memorie.
Exemple practice
- După o oră și șaptezeci de mesaje, asistentul propune din nou o variantă respinsă la începutul discuției. Nu e o defecțiune, e semnalul că discuția trebuie închisă și repornită cu un rezumat.
- Aceeași întrebare, două contexte: pusă într-o conversație nouă, cu doar fișierul relevant atașat, primește un răspuns mai bun decât la finalul unei sesiuni lungi cu zece fișiere încărcate.
- Regulă de lucru: instrucțiunile care trebuie să reziste (formatul raportului, planul de conturi, regula de rotunjire) nu stau într-un mesaj de acum o oră, ci într-un loc permanent, care se reaplică automat.
Întrebări frecvente
Dacă modelul are fereastră de un milion de tokeni, tot apare problema?
Da. Fereastra spune cât text încape, nu cât din el e folosit la fel de bine. Studiile arată degradare mult înainte de umplerea ferestrei, deci capacitatea anunțată nu e o garanție de calitate.
Cum îmi dau seama că am ajuns acolo?
După trei semne: modelul repetă soluții deja respinse, contrazice reguli stabilite anterior sau începe să dea răspunsuri vagi la întrebări la care răspundea precis. Oricare dintre ele e motiv de conversație nouă.
Ce pun în conversația nouă ca să nu iau totul de la capăt?
Un rezumat scurt al stării curente, deciziile luate și fișierele relevante. Nu istoricul integral, fiindcă atunci reconstruiești exact problema de la care ai plecat. Un asistent poate scrie el acest rezumat, la cerere, înainte să închizi discuția.