Twierdzenie Gaussa-Markowa – twierdzenie statystyki mówiące, że estymator najmniejszych kwadratów jest (o ile jest on stosowalny) najlepszym (tj. mającym najmniejszą wariancję) estymatorem spośród liniowych, nieobciążonych estymatorów liniowego modelu regresji.
Twierdzenie Niech dany będzie model regresji liniowej, zapisany w notacji macierzowej:
tj.
gdzie są współczynnikami modelu, są zmiennymi objaśniającymi natomiast są zmiennymi losowymi błędu (nazywanymi czasami szumem). W przypadku modelu regresji ze stałą, wprowadza się dodatkowy współczynnik oraz odpowiadającą mu kolumnę jedynek: dla wszelkich
Założenia twierdzenia Gaussa-Markowa: wartość oczekiwana szumu wynosi 0: dla wszelkich homoskedastyczność: wariancje szumu istnieją i są równe:
szumy są parami nieskorelowane:
Liniowy estymator jest po prostu kombinacją liniową
w której współczynniki nie zależą od ale mogą zależeć od Z definicji, estymator jest nieobciążony, gdy
Niech
będzie kombinacją liniową współczynników. Wówczas błąd średniokwadratowy odpowiadający takiemu oszacowaniu wynosi