Opracowano wiele algorytmów obliczania współczynników modelu liniowego, takich jak analityczna metoda najmniejszych kwadratów, metoda największej wiarygodności, lub numeryczna metoda gradientu prostego. Minimalizacja obciążenia oszacowań nie zawsze jest jedynym pożądanym celem, co ilustruje zagadnienie kompromisu między obciążeniem a wariancją, i co motywuje np. stosowanie algorytmów z regularyzacją.
Regresja liniowa z przekształceniami Regresja liniowa dopuszcza dowolne przekształcenia zmiennych – nawet jeśli odzwierciedla to nieliniowe zależności – dopóki całość pozostaje liniową kombinacją, np.
Regresja liniowa z interakcjami Szczególnym przypadkiem regresji liniowej jest model uwzględniający interakcje między zmiennymi wyrażone w formie ich iloczynu, np.
Regresja nieliniowa
Regresja, w której postać modelu nie sprowadza się do liniowej kombinacji wyrazów.
Stosowane są różne modele, budowane na potrzeby konkretnego przypadku. Dla jednej zmiennej objaśniającej może to być na przykład:
Modele nieliniowe są trudniejsze w oszacowaniu, i często wymagają numerycznych przybliżeń.
Uogólnione modele liniowe (GLM)