Ten paradoksalny wynik — że istnieje estymator, który jest (potencjalnie) lepszy i nigdy gorszy od średniej próbkowej pod względem MSE — stał się znany jako paradoks Steina.
Sformułowanie mały|Błąd średniokwadratowy (MSE = R) estymatora najmniejszych kwadratów (ML) w porównaniu z estymatorem Jamesa–Steina (JS). Estymator Jamesa–Steina daje najlepsze oszacowanie, gdy norma rzeczywistego wektora parametrów θ jest bliska zeru. Jeśli wariancja jest znana, estymator Jamesa-Steina ma postać:
James i Stein wykazali, że powyższy estymator dominuje nad dla każdego , co oznacza, że estymator Jamesa-Steina ma niższy błąd średniokwadratowy (MSE) niż estymator największej wiarygodności. Oznacza to, że estymator najmniejszych kwadratów jest z definicji niedopuszczalny (ang. inadimissible) dla .
Zauważmy, że jeśli , to estymator ten po prostu ściąga naturalny estymator i w kierunku zera (początku układu współrzędnych). W rzeczywistości nie jest to jedyny możliwy kierunek ściągania. Niech ν będzie dowolnym ustalonym wektorem o wymiarze . Wówczas istnieje estymator typu Jamesa–Steina, który ściąga w kierunku ν, a mianowicie: