Współczynnik niepewności, nazywany również biegłością, entropią produktową (lub współczynnikiem entropii) oraz współczynnikiem Theila (U Theila), to miara asocjacji nominalnej (). Współczynnik ten został wprowadzony przez Henriego Theila. Jest oparty na koncepcji entropii informacji.
Definicja formalna Załóżmy, że mamy próbki dwóch odrębnych zmiennych losowych i Konstruując wspólny rozkład (ang. joint distribution) z którego możemy obliczyć rozkład warunkowy i i inne rozmaite entropie, możemy określić stopień asocjacji pomiędzy dwiema zmiennymi.
Entropię pojedynczego rozkładu możemy obliczyć za pomocą wzoruClaude E. Shannon; Warren Weaver (1963). The Mathematical Theory of Communication. University of Illinois Press.:
podczas gdy entropię warunkową obliczamy za pomocą wzoru:
Współczynnik niepewnościWilliam H. Press; Brian P. Flannery; Saul A. Teukolsky; William T. Vetterling (1992). „14.7.4”.Numerical Recipes: the Art of Scientific Computing (3rd ed.). Cambridge University Press. s. 761. (lub biegłość)White, Jim; Steingold, Sam; Fournelle, Connie.Performance Metrics for Group-Detection Algorithms. Interface 2004. jest zdefiniowany wzorem:
Mówi on nam, jaką część bitów możemy przewidzieć przy pomocy danej (Powyższe wyrażenie jasno wyjaśnia nam, że współczynnik niepewności jest znormalizowaną informacją wzajemną ) W tym przypadku możemy uważać jako zawierającą „faktyczną” wartość. Należy brać pod uwagę, że (ale nie !) nie jest zależna od podstawy ponieważ wszystkie logarytmy są proporcjonalne.
Współczynnik niepewności jest przydatny do pomiaru ważności algorytmu klasyfikacji statystycznej. Współczynnik ten posiada również przewagę nad prostszymi miarami dokładności takimi jak precyzja i odwołanie (ang. precision and recall).
Odmiany Symetryczna: Współczynnik niepewności nie jest symetryczny w odniesieniu do ról i Ich role mogą zostać odwrócone, zatem mogą zostać zdefiniowane jako średnia ważona między nimi dwomaWilliam H. Press; Brian P. Flannery; Saul A. Teukolsky; William T. Vetterling (1992). „14.7.4”. Numerical Recipes: the Art of Scientific Computing (3rd ed.). Cambridge University Press. p. 761.:
Ciągła: Chociaż zwykle stosowany jest do zmiennych dyskretnych, współczynnik niepewności może zostać przedłużony do zmiennych ciągłych za pomocą estymatora gęstości.
Zobacz też informacja wzajemna
Przypisy
Kategoria:Teoria informacji