wariancji charakteryzującej pomiary, a nie model statystyczny.
Przy notacji, w której prawdziwa funkcja jej obserwacja z błędem losowym oraz estymator
gdzie obciążenie estymatora to:
a jego wariancja:
Złożoność modelu Obciążenie i wariancja modelu są funkcją jego złożoności, której zgeneralizowaną miarą może być efektywna liczba parametrów (in. efektywna liczba stopni swobody) Dla modelu liniowego w którym to macierz o wymiarach N × N, efektywna liczba parametrów jest zdefiniowana jako ślad tej macierzy, W mierze tej regresja z regularyzacją ma mniejszą efektywną liczbę parametrów (efektywną liczbę stopni swobody) niż zwykła regresja. Model o wysokiej efektywnej liczbie parametrów cechuje się większą wariancją i niższym obciążeniem – i vice versa. Miara ten pozwala zoptymalizować złożoność modelu np. przy pomocy kryterium informacyjnego Akaike (AIC) lub bayesowskiego kryterium informacyjnego Schwarza (BIC).
Wyprowadzenie dla błędu średniokwadratowego w modelu liniowym Z definicji, dla dowolnej zmiennej losowej
Po prostym przekształceniu:
Ponieważ jest deterministyczne.
Stąd, ponieważ i wynika
Ponadto, ponieważ
Jako że oraz są niezależne, możemy napisać: