Regresja nieparametryczna Alternatywną koncepcją jest regresja nieparametryczna. Metody regresji nieparametrycznej nie zakładają, że estymowana funkcja jest znana z dokładnością do skończenie wielu estymowalnych parametrów. Tym samym są często bardziej elastyczne w poszukiwaniu rozwiązań. Z drugiej strony w regresji parametrycznej o wiele prostszy jest matematyczny opis modelu, co pozwala na przykład na łatwe wyznaczanie przedziałów ufności prognozowanej wartości. W regresji nieparametrycznej bywa to trudniejsze.
Krokowa konstrukcja modelu regresji Metody regresji krokowej () są często stosowanym, ale problematycznym sposobem na wybranie zmiennych objaśniających do modelu. Statystycy odradzają ich używanie, zwłaszcza jeśli badacze nie są świadomi towarzyszącemu technice ryzyku błędów, i nie stosują przeciwdziałających mu poprawek. Regresja krokowa prowadzi m.in. do błędu nadmiernego dopasowania do danych uczących. Lepszymi narzędziami oceny i wyboru alternatywnych modeli są np.