thumb|right| Regresijska linija za 50 slučajnih tačaka u Gaussovoj distribuciji oko linije y=1.5x+2
U statističkom modeliranju, regresijska analiza je statistička metoda za procjenu odnosa između zavisne varijable (često nazvane ishodna ili varijabla ili oznaka u žargonu mašinskog učenja) i jedne ili više nezavisnih varijabli (često nazvanih regresori, prediktori, kovarijable, objašnjavajuće varijable ili karakteristike).
Najčešći oblik regresijske analize je linearna regresija, u kojoj se pronalazi linija (ili složenija linearna kombinacija) koja najviše odgovara podacima prema određenom matematičkom kriteriju. Naprimjer, metoda običnih najmanjih kvadrata izračunava jedinstvenu liniju (ili hiperravan) koja minimizira zbir kvadrata razlika između istinitih podataka i te linije (ili hiperravni). Iz specifičnih matematičkih razloga (vidi linearna regresija), ovo omogućava istraživaču da procijeni uslovnog očekivanja (ili prosječnu vrijednost populacije) zavisne varijable kada nezavisne varijable poprime dati skup vrijednosti. Manje uobičajeni oblici regresije koriste malo drugačije postupke za procjenu alternativnih parametara lokacije (npr. kvantilna regresija ili Analiza neophodnih uslova) ili procijena uslovnog očekivanja na širem skupu nelinearnih modela (npr. neparametrijska regresija). Regresijska analiza se prvenstveno koristi za dvije konceptualno različite svrhe. Prvo, regresijska analiza se široko koristi za predviđanje i prognoziranje, gdje se njena upotreba značajno preklapa s područjem mašinskog učenja. Drugo, u nekim situacijama regresijska analiza se može koristiti za zaključivanje o posljedičnim vezama između nezavisnih i zavisnih varijabli. Važno je napomenuti da same regresije otkrivaju samo veze između zavisne varijable i skupa nezavisnih varijabli u fiksnom skupu podataka. Da bi koristio regresije za predviđanje ili za zaključivanje o uzročnim vezama, istraživač mora pažljivo opravdati zašto postojeće veze imaju prediktivnu moć za novi kontekst ili zašto veza između dvije varijable ima uzročnu interpretaciju. Ovo posljednje je posebno važno kada istraživači žele procijeniti uzročne veze koristeći podaci opservacija.R. Dennis Cook; Sanford Weisberg Criticism and Influence Analysis in Regression, Sociological Methodology, Vol. 13. (1982), pp. 313–361
Historija Najraniji oblik regresije viđen je u radu Isaaca Newtona 1700. godine tokom proučavanja ekvinocija, kojem se pripisuje uvođenje "embrionalne linearne regresijske analize" jer "ne samo da je izvršio usrednjavanje skupa podataka, 50 godina prije Tobiasa Mayera, već je sumiranjem reziduala na nulu 'prisilio' regresijsku liniju da prođe kroz prosječnu tačku. Također je razlikovao dva nehomogena skupa podataka i možda je razmišljao o 'optimalnom' rješenju u smislu pristranosti, iako ne u smislu efikasnosti". Prethodno je koristio metodu usrednjavanja, u svom radu o Newtonovim prstenovima iz 1671. godine, što je u to vrijeme bilo bez presedana.
Metodu najmanjih kvadrata objavio je Legendre, 1805.,Adrien-Marie Legendre|A.M. Legendre. Nouvelles méthodes pour la détermination des orbites des comètes, Firmin Didot, Paris, 1805. "Sur la Méthode des moindres quarrés" appears as an appendix. i Gauss u 1809.Chapter 1 of: Angrist, J. D., & Pischke, J. S. (2008). Mostly Harmless Econometrics: An Empiricist's Companion. Princeton University Press. Legendre i Gauss primijenili su metodu na problem određivanja, na osnovu astronomskih posmatranja, orbita tijela oko Sunca (uglavnom kometa, ali kasnije i tada novootkrivenih malih planeta). Gauss je objavio daljnji razvoj teorije najmanjih kvadrata u 1821., uključujući i verziju Gauss-Markovljeve teoreme. Termin "regresija" skovao je Francis Galton u 19. stoljeću, kako bi opisao biološki fenomen. Fenomen je bio da visina potomaka visokih predaka ima tendenciju regresije prema normalnom prosjeku (fenomen poznat i kao regresija prema srednjoj vrijednosti). Za Galtona, regresija je imala samo ovo biološko značenje,Francis Galton. "Typical laws of heredity", Nature 15 (1877), 492–495, 512–514, 532–533. (Galton uses the term "reversion" in this paper, which discusses the size of peas.)Francis Galton. Presidential address, Section H, Anthropology. (1885) (Galton uses the term "regression" in this paper, which discusses the height of humans.) ali njegov rad su kasnije proširili Udny Yule i Karl Pearson na općiji statistički kontekst. U radu Yulea i Pearsona, pretpostavlja se da je zajednička distribucija varijabli odgovora i objašnjavajućih varijabli Gaussova. Ovu pretpostavku je oslabio R.A. Fisher u svojim radovima iz 1922. i 1.925. Fisher je pretpostavio da je uslovna distribucija odzivne varijable Gaussova, ali zajednička distribucija ne mora biti. U tom pogledu, Fisherova pretpostavka je bliža Gaussovoj formulaciji iz 1821. godine.
Tokom 1950-ih i 1960-ih, ekonomisti su koristili elektromehaničke stolne kalkulatore za izračunavanje regresija. Prije 1970. godine, ponekad je bilo potrebno i do 24 sata da se dobije rezultat iz jedne regresije.Rodney Ramcharan. Regressions: Why Are Economists Obessessed with Them? March 2006. Accessed 2011-12-03.
Metode regresije i dalje su područje aktivnog istraživanja. U posljednjim decenijama razvijene su nove metode za robustnu regresiju, regresiju koja uključuje korelirane odgovore kao što su vremenske serije i krivulja rasta, regresiju u kojoj su prediktor (nezavisna varijabla) ili varijable odgovora krivulje, slike, grafovi ili drugi složeni objekti podataka, regresijske metode koje prilagođavaju različite vrste nedostajućih podataka, neparametrijsku regresiju, Bayesovu metodu za regresiju, regresiju u kojoj se prediktorske varijable mjere s greškom, regresiju s više prediktorskih varijabli nego opažanja i kauzalno zaključivanje s regresijom. Moderna regresijska analiza obično se izvodi pomoću statističkih i tabličnih softverskih paketa na računarima, kao i na ručnim naučnim i grafičkim kalkulatorima.
Model regresije U praksi, istraživači prvo biraju model koji žele procijeniti, a zatim koriste odabranu metodu (npr. obični najmanji kvadrati) za procjenu parametara tog modela. Modeli regresije uključuju sljedeće komponente: Nepoznati parametri, često označeni kao skalar ili vektor . Nezavisne varijable, koje se opažaju u podacima i često se označavaju kao vektor (gdje označava red podataka). Zavisna varijabla, koja se opaža u podacima i često se označava pomoću skalara . Članovi greške, koji se ne direktno opažaju u podacima i često se označavaju skalarom e_i.
U raznim poljima primjene, umjesto zavisnih i nezavisnih varijabli koriste se različite terminologije.
Većina regresijskih modela predlaže da je Y_i funkcija (regresijska funkcija) od X_i i \beta, pri čemu e_i predstavlja aditivni član greške koji može zamijeniti nemodelirane determinante Y_i ili slučajni statistički šum:
U standardnom regresijskom modelu, pretpostavlja se da su nezavisne varijable bez grešaka. Model grešaka u varijablama može se koristiti ako se pretpostavlja da nezavisne varijable sadrže greške. Mogu se napraviti i druge modifikacije standardnog regresijskog modela kako bi se uzeli u obzir različiti scenariji, kao što su situacije koje uključuju izostavljene varijable, zbunjujuće varijable ili endogenost.
Cilj istraživača jest procijeniti funkciju koji najviše odgovara podacima. Da bi se provela regresijska analiza, mora se odrediti oblik funkcije . Ponekad se oblik ove funkcije zasniva na znanju o odnosu između i koje se ne oslanja na podatke. Ako takvo znanje nije dostupno, bira se fleksibilan ili prikladan oblik za . Na primjer, jednostavna univarijantna regresija može predložiti , što sugerira da istraživač vjeruje da je razumna aproksimacija za statistički proces koji generira podatke.
Nakon što istraživači odrede svoj preferirani statistički model, različiti oblici regresijske analize pružaju alate za procjenu parametara . Na primjer, najmanji kvadrati (uključujući i njegovu najčešću varijantu, obični najmanji kvadrati) pronalazi vrijednost `\beta` koja minimizira zbir kvadratnih grešaka `\sum_i (Y_i - f(X_i, `beta)`)^2. Data regresijska metoda će na kraju dati procjenu `\beta`, obično označenu sa `\hat{\beta`} kako bi se razlikovala procjena od stvarne (nepoznate) vrijednosti parametra koja je generirala podatke. Koristeći ovu procjenu, istraživač zatim može koristiti prilagođenu vrijednost `\hat{Y_i} = f(X_i, `\hat{\beta}`)` za predviđanje ili za procjenu tačnosti modela u objašnjavanju podataka. Da li je istraživač suštinski zainteresovan za procjenu `\hat{\beta`} ili predviđenu vrijednost `\hat{Y_i`} zavisiće od konteksta i njegovih ciljeva. Kao što je opisano u obični najmanji kvadrati, najmanji kvadrati se široko koriste jer procijenjena funkcija aproksimira uslovno očekivanje . Međutim, alternativne varijante (npr. najmanja apsolutna odstupanja ili kvantilna regresija) su korisne kada istraživači žele modelirati druge funkcije .
Mora postojati dovoljno podataka za procjenu regresijskog modela. Na primjer, pretpostavimo da istraživač ima pristup redovima podataka s jednom zavisnom i dvije nezavisne varijable: . Pretpostavimo dalje da se želi procijeniti bivarijantni linearni model putem najmanjih kvadrata: . Ako imamo pristup samo podatkovnim tačkama, tada bi mogli pronaći beskonačno mnogo kombinacija koje jednako dobro objašnjavaju podatke: može se odabrati bilo koja kombinacija koja zadovoljava i stoga su validna rješenja koja minimiziraju zbir kvadrata reziduali. Da bi se razumjelo zašto postoji beskonačno mnogo opcija, treba imati na umu da sistem od jednačina treba riješiti za tri nepoznate, što sistem čini nedodefinitivan. Alternativno, može se vizualizirati beskonačno mnogo trodimenzijskih ravni koje prolaze kroz fiksnih tačaka. Općenitije, da bi se procijenio model najmanjih kvadrata sa k različitim parametrima, mora se imati N \geq k različitih podataka. Ako je N > k, onda generalno ne postoji skup parametara koji će savršeno odgovarati podacima. Veličina N-k se često pojavljuje u regresijskoj analizi i u modelu se naziva stepeni slobode. Štaviše, da bi se procijenio model najmanjih kvadrata, nezavisne varijable (X_{1i}, X_{2i}, ..., X_{ki}) moraju biti linearno nezavisne: ne smije se ne moći rekonstruisati nijedna od nezavisnih varijabli sabiranjem i množenjem preostalih nezavisnih varijabli. Kao što je objašnjeno u obični najmanji kvadrati, ovaj uslov osigurava da je invertibilna matrica i stoga da postoji jedinstveno rješenje .
Osnovne pretpostavke Sama po sebi, regresija je samo izračunavanje izvršeno na skupu podataka. Da bi interpretirali rezultirajuću regresiju kao smislen statistički model koji kvantificira odnose u stvarnom svijetu, istraživači se često oslanjaju na niz klasičnih pretpostavki. Ove pretpostavke često uključuju: Uzorak je reprezentativan za populaciju u cjelini. Nezavisne varijable se mjere bez greške. Odstupanja od modela imaju očekivanu vrijednost , uslovljenu kovarijantama: Varijanca reziduala je konstantna kroz posmatranja (homoskedastičnost). Reziduali su nekorelirani jedan s drugim. Matematički, varijansa-matrica kovarijanse grešaka je dijagonala.