Akaike zauważył, że pomimo iż w praktyce hipotetyczny prawdziwy model jest nieznany i niedostępny jako odniesienie, to wyraża się jako nieokreślona stała, co nadal pozwala na dokonanie optymalizacji:
Po przekształceniach i uwzględnieniu poprawki na obciążenie oszacowania, wartością asymptotycznie minimalizującą oczekiwane (maksymalizującą relatywną entropię) i pozwalającą na porównywanie alternatywnych modeli jest tzw. kryterium informacyjne Akaikego:
gdzie to funkcja wiarygodności, a to liczba estymowanych parametrów modelu. W intuicji oferowanej przez Bozdogana, pierwszy wyraz wzoru odpowiada oczekiwanemu niedopasowaniu modelu badawczego do danych spoza próby, i do prawdziwego modelu, a drugi złożoności, przekładającej się na nadmierne dopasowanie do próby. Wybór modelu wiąże się bowiem w praktyce z balansowaniem między tymi problemami (z kompromisem między obciążeniem a wariancją).
W późniejszej literaturze przedstawiono kolejne propozycje kryteriów informacyjnych, opartych na tej samej zasadzie, z dodatkowymi doprecyzowaniami, na przykład kryterium Schwarza lub Watanabe-Akaikego.
Zobacz też dywergencja Jensena-Shannona
Przypisy
Kullbacka-Leiblera Kategoria:Miary podobieństwa dwóch rozkładów Kategoria:Teoria informacji