OVERFITTING
Definiție
Overfitting-ul apare când un model memorează datele de antrenare în loc să învețe tiparele generale din ele: performanță excelentă pe exemplele văzute, performanță slabă pe date noi. E ca studentul care învață pe de rost rezolvările din culegere: perfect la problemele identice, pierdut la prima problemă nouă, deși „materia” e aceeași.
Cauzele tipice: model prea complex pentru date prea puține, sau antrenare prea lungă pe același set. Remedii standard în machine learning: mai multe date, oprirea antrenării la timp, penalizarea complexității și, mai ales, evaluarea pe un set de test pe care modelul nu l-a văzut niciodată. Un model trebuie judecat exclusiv pe date noi; performanța pe datele de antrenare e informativ irelevantă.
În contextul financiar, overfitting-ul e o capcană clasică a modelelor predictive interne: modelul de estimare a întârzierilor la plată „calibrat perfect” pe istoricul 2022–2024 poate eșua în 2026, pentru că a memorat conjunctura, nu mecanismele. Întrebarea de due diligence către orice furnizor: „care e performanța pe date din afara setului de antrenare?”
Exemple practice
- Modelul intern de predicție a neplății are acuratețe excelentă pe datele istorice și dezamăgitoare pe clienții noi: simptom clasic de overfitting pe conjunctura anilor de antrenare.
- Un clasificator de documente antrenat doar pe facturile a 3 furnizori mari eșuează la primul furnizor nou: a memorat aspectul acelor facturi, nu conceptul de factură.
- La achiziția unui soft cu scoring: cere matricea de performanță pe set de validare separat, pe perioade diferite de cele de antrenare; altfel, cifrele de acuratețe sunt decorative.