Metoda najmniejszych kwadratów – standardowa metoda przybliżania rozwiązań układów nadokreślonych, tzn. zestawu równań, w którym jest ich więcej niż zmiennych. Nazwa „najmniejsze kwadraty” oznacza, że końcowe rozwiązanie tą metodą minimalizuje sumę kwadratów błędów przy rozwiązywaniu każdego z równań.
W statystyce wykorzystuje się ją do estymacji i wyznaczania linii trendu na podstawie zbioru danych w postaci par liczb. Najczęściej jest stosowana przy regresji liniowej, ale może też być stosowana do statystycznego wyznaczania parametrów nieliniowych linii trendu.
Regresja liniowa Żądamy minimalizacji funkcji która mierzy odchylenie zadanej zależności funkcyjnej od punktów doświadczalnych. W przypadku funkcji liniowej funkcja sprowadza się do
gdzie to odchylenie standardowe (niepewność pomiaru) danego punktu pomiarowego (w zmiennej y); czasami używa się notacji Aby znaleźć minima tej funkcji ze względu na parametry a i b, różniczkuje się po a i b, następnie przyrównuje do 0:
Można te warunki przepisać w wygodniejszej do liczenia postaci, wprowadzając następujące wielkości
Równania powyższe przepisane w nowych zmiennych po uporządkowaniu mają postać
Rozwiązaniem tego układu równań liniowych jest