gdyż wówczas obliczenia są najprostsze – dopasowanie modelu sprowadza się do zastosowania prostej matematycznie metody najmniejszych kwadratów. Ma to jednak swoją wadę – kwadrat błędów dużo silniej zależy od obserwacji dla których błąd jest największy niż od tych, do których model dobrze się dopasowałPodobna sytuacja z podobnymi konsekwencjami występuje w przypadku wariancji i odchylenia standardowego – zobacz sekcję Wrażliwość na błędy obserwacji w artykule „Odchylenie standardowe”.. Metoda najmniejszych kwadratów daje więc niedokładne lub wręcz zafałszowane wyniki, jeśli w zbiorze uczącym występują obserwacje zbyt dalekie od średniej, tzw. elementy odstające (np. pomyłki przy wprowadzaniu danych).
W związku z tym stosowane są także inne miary błędów, bardziej odporne, takie jak np. wartość bezwzględna różnicy.
Najpopularniejsze modele parametryczne Regresja liniowa
Model regresji liniowej ma ogólną postać kombinacji liniowej wyrazów: