Estymator Jamesa-Steina

Estymator Jamesa-Steina – estymator wartości oczekiwanej wielowymiarowej zmiennej losowej .

Został on opracowany etapami w dwóch kluczowych publikacjach. Wcześniejsza wersja estymatora powstała w 1956 roku, kiedy Charles Stein doszedł do zaskakującego wniosku: podczas gdy klasyczny estymator średniej, czyli średnia z próby, jest dopuszczalny dla wymiaru , to staje się niedopuszczalny dla . Stein zaproponował ulepszony estymator, który „ściąga” średnie próbkowe w kierunku bardziej centralnego wektora średnich (może on być wybrany a priori lub lub – co częstsze – być „średnią średnich z próby”, przy założeniu że wszystkie próbki mają ten sam rozmiar). To zjawisko znane jest jako przykład lub paradoks Steina. W 1961 roku Willard James i Charles Stein uprościli pierwotną konstrukcję estymatora.

Można wykazać, że estymator Jamesa–Steina dominuje nad „zwykłym” podejściem najmniejszych kwadratów w tym sensie, że estymator Jamesa–Steina ma niższy średni błąd kwadratowy (MSE) niż „zwykły” estymator najmniejszych kwadratów dla wszystkich . Jest to możliwe, ponieważ estymator Jamesa–Steina jest obciążony, a zatem nie obowiązuje dla niego twierdzenie Gaussa–Markowa.

Podobnie jak estymator Hodgesa, estymator Jamesa-Steina jest superefektywny i nieregularny w .

Założenia Niech gdzie wektor jest nieznaną wartością oczekiwaną zmiennej losowej mającej m-wymiarowy rozkład normalny, zaś macierz kowariancji jest znana i równa .

Zależy nam na wyznaczeniu estymatora dla na podstawie jednej obserwacji zmiennej .

W zastosowaniach praktycznych jest to typowa sytuacja: próbkujemy zestaw parametrów, a próbki są zaburzone przez niezależny szum gaussowski. Ponieważ szum ten ma wartość oczekiwaną równą zeru, naturalnym podejściem jest użycie samych próbek jako estymatora parametrów. To właśnie klasyczny estymator najmniejszych kwadratów (LS), dany wzorem: .

Stein wykazał, że w kategoriach średniego błędu kwadratowego , estymator najmniejszych kwadratów, , jest suboptymalny w porównaniu do estymatorów opartych na „ściąganiu” (shrinkage), takich jak estymator Jamesa-Steina, . Ten paradoksalny wynik — że istnieje estymator, który jest (potencjalnie) lepszy i nigdy gorszy od średniej próbkowej pod względem MSE — stał się znany jako paradoks Steina.

Sformułowanie mały|Błąd średniokwadratowy (MSE = R) estymatora najmniejszych kwadratów (ML) w porównaniu z estymatorem Jamesa–Steina (JS). Estymator Jamesa–Steina daje najlepsze oszacowanie, gdy norma rzeczywistego wektora parametrów θ jest bliska zeru. Jeśli wariancja jest znana, estymator Jamesa-Steina ma postać:

James i Stein wykazali, że powyższy estymator dominuje nad dla każdego , co oznacza, że estymator Jamesa-Steina ma niższy błąd średniokwadratowy (MSE) niż estymator największej wiarygodności. Oznacza to, że estymator najmniejszych kwadratów jest z definicji niedopuszczalny (ang. inadimissible) dla .

Zauważmy, że jeśli , to estymator ten po prostu ściąga naturalny estymator i w kierunku zera (początku układu współrzędnych). W rzeczywistości nie jest to jedyny możliwy kierunek ściągania. Niech ν będzie dowolnym ustalonym wektorem o wymiarze . Wówczas istnieje estymator typu Jamesa–Steina, który ściąga w kierunku ν, a mianowicie:

Estymator Jamesa-Steina dominuje nad zwykłym estymatorem dla dowolnego ν . Naturalnym pytaniem jest, czy poprawa w stosunku do zwykłego estymatora jest niezależna od wyboru ν. Odpowiedź brzmi: nie. Poprawa jest niewielka, jeśli odległość jest duża. Aby zatem uzyskać znaczną poprawę, potrzebna jest więc pewna wiedza o położeniu θ. Oczywiście to właśnie ten wektor próbujemy oszacować, więc nie mamy tej wiedzy z góry. Możemy jednak mieć pewne przypuszczenia co do wartości oczekiwanej. Może to być uznane za wadę estymatora: wybór kierunku ściągania nie jest obiektywny i może zależeć od przekonań badacza. Niemniej jednak wynik Jamesa i Steina wskazuje, że każde skończone przypuszczenie ν poprawia oczekiwany błąd średniokwadratowy (MSE) w porównaniu z estymatorem największej wiarygodności, który jest równoznaczny z użyciem nieskończonego ν, co bez wątpienia jest kiepskim założeniem.

Interpretacja Postrzeganie estymatora Jamesa–Steina jako empirycznej metody bayesowskiej dostarcza pewnej intuicji dla tego wyniku: zakłada się, że sam wektor parametrów θ jest zmienną losową o rozkładzie a priori , gdzie A jest szacowane na podstawie samych danych. Oszacowanie A daje przewagę w porównaniu z estymatorem największej wiarygodności tylko wtedy, gdy wymiar jest wystarczająco duży; dlatego nie działa dla . Estymator Jamesa-Steina należy do klasy estymatorów bayesowskich, które dominują nad estymatorem największej wiarygodności.

Konsekwencją powyższych rozważań jest następujący, pozornie sprzeczny z intuicją, wynik: gdy mierzymy trzy lub więcej niezależnych parametrów, całkowity błąd średniokwadratowy (MSE) można zmniejszyć, stosując estymator łączony, taki jak estymator Jamesa–Steina. Natomiast gdy każdy parametr szacowany jest oddzielnie, dopuszczalnym estymatorem jest estymator najmniejszych kwadratów (ang. least squares, LS). Kuriozalnym przykładem może być jednoczesne szacowanie: prędkości światła, spożycia herbaty na Tajwanie i masy świń w Montanie. Estymator Jamesa-Steina zawsze poprawia łączny MSE, czyli sumę oczekiwanych kwadratów błędów dla każdego składnika. Oznacza to, że całkowity błąd przy pomiarze prędkości światła, spożycia herbaty i masy świń zmniejszy się, jeśli zastosuje się estymator Jamesa–Steina. Jednak dla konkretnego składnika (np. prędkości światła), estymacja może się poprawić dla niektórych wartości parametru, a pogorszyć dla innych. Zatem, mimo że estymator Jamesa–Steina dominuje nad estymatorem LS przy estymacji trzech lub większej liczby parametrów, żaden pojedynczy składnik nie dominuje nad odpowiednim składnikiem estymatora LS.

Wniosek z tego hipotetycznego przykładu jest taki, że pomiary powinny być łączone, jeśli celem jest minimalizacja ich łącznego błędu średniokwadratowego (MSE). Na przykład w telekomunikacji rozsądne jest łączenie pomiarów odpowiedzi kanału w scenariuszu estymacji kanału, ponieważ celem jest minimalizacja całkowitego błędu estymacji kanału.

Estymator Jamesa-Steina znalazł również zastosowanie w teorii kwantowej, gdzie wykorzystano go do poprawienia teoretycznych ograniczeń entropijnej wersji zasady nieoznaczoności dla więcej niż trzech pomiarów.

Ulepszenia Pomimo intuicji, że estymator Jamesa-Steina zawęża oszacowanie największej wiarygodności w kierunku , oszacowania faktycznie odbiegają od dla małych wartości jako że mnożnik jest wtedy ujemny. Można temu łatwo zaradzić, zastępując ten mnożnik zerem, jeśli jest ujemny. Otrzymany estymator nazywa się estymatorem Jamesa-Steina o części dodatniej i jest podany wzorem

Ten estymator charakteryzuje się mniejszym ryzykiem niż podstawowy estymator Jamesa-Steina. Z tego wynika, że podstawowy estymator Jamesa–Steina jest sam w sobie niedopuszczalny.

Okazuje się jednak, że estymator części dodatniej jest również niedopuszczalny. Wynika to z bardziej ogólnego wniosku, który wymaga, aby dopuszczalne estymatory były gładkie.

Zobacz też Dywergencja Kullbacka-Leiblera

Przypisy

Kategoria:Strony z nieprzejrzanymi tłumaczeniami