bélyegkép|300px|jobbra| Lineáris egyenes illesztése ponthalmazra
A statisztika eszköztárában a lineáris regresszió egy olyan paraméteres regressziós modell, mely feltételezi a magyarázó- (X) és a magyarázott (y) változó közti (paramétereiben) lineáris kapcsolatot. Ez azt jelenti, hogy lineáris regresszió becslése során a mintavételi adatok pontfelhőjére igyekszünk egyenestÁltalános, többváltozós esetben hipersíkot. illeszteni.
A lineáris kapcsolat a következőképpen fejezhető ki:
ahol , vektorok, mátrix, vektor minden -ra, a magyarázóváltozók száma (konstanssal együtt), a mintanagyság.
A lineáris regresszió becslése során a paramétervektort becsüljük a rendelkezésre álló mintából úgy, hogy az pl. az átlagos négyzetes hibát minimalizálja. A legegyszerűbb, és legáltalánosabb becslési módszer a legkisebb négyzetek módszere, azonban ez utóbbi nem tévesztendő össze a lineáris regresszió fogalmával, mivel lineáris regressziós egyenest más becslési módszerekkel is becsülhetjük, és a legkisebb négyzetek módszere nem csak lineáris regressziós modellek becslésére alkalmas.
A lineáris regressziós elemzést és becslést mindig elvégezhetjük, azonban az eredmények értelmezése a valós populációs összefüggésekre tett különböző feltételezések megtételéhez kötött.
A becsült lineáris regressziós egyenes többféleképpen értelmezhető: Értelmezhető deskriptív módon úgy, hogy ez az a lineáris függvény, ami a legjobban illeszkedik az adott ponthalmazra. Amennyiben az egyenest valóban illeszteni tudjuk, erre az értelmezésre mindig lehetőségünk van egyéb feltételezésektől függetlenül. Az előző ponthoz kapcsolódóan lehetőségünk van arra, hogy megbecsüljük, vagy előrejelezzük a magyarázott változó olyan értékét, amelyhez a mintában nem tartozik magyarázó változó érték. Ebben az esetben a lineáris regressziós egyenes adja a magyarázott változó legjobb lineáris közelítését a magyarázó változó adott értéke mellett. Értelmezhetjük úgy, hogy a regressziós egyenes egy átfogó képet ad arról, hogy y várhatóan hogyan változik X változásának hatására. Ez esetben a következőt mondhatjuk a lineáris regressziós becslés és a feltételes átlagfüggvény kapcsolatáról: Amennyiben a feltételes átlagfüggvény, lineáris β-ban, akkor a becsült lineáris regressziós függvény egybeesik azzal, tehát az eredmények várható érték alapú értelmezése korrekt. Amennyiben a feltételes átlagfüggvény nemlineáris, a becsült lineáris regressziós függvény a legjobb lineáris közelítése annak. Ez esetben ugyan a várható érték alapú értelmezés nem teljes mértékben korrekt, mégis hasznos, értelmezhető információval szolgálhatunk a becslés eredményeit vizsgálva és körültekintően értelmezve.
A magyarázóváltozók száma alapján megkülönböztetünk egyszerű vagy többszörös lineáris regressziót, az adatok X mátrixa pedig lehet véletlen vagy rögzített.
Alapfogalmak és egyszerű lineáris regresszió A regressziós modellekben -t magyarázandó, függő, vagy eredményváltozónak, -et a magyarázó- vagy független változónak, -t (gyakran -t) hibatagnak, maradékváltozónak, -t paraméternek, koefficiensnek nevezzük.
Az egyszerű lineáris regresszió modelljében -t egy változóval, egy konstanssal és a hibataggal magyarázzuk. Amennyiben rendelkezésünkre áll egy n elemű minta , a regressziós modellt, amit becsülni kívánunk, a következőképpen írhatjuk:
minden -re.
A modell becsült paraméterei és (lényegében a legtöbb becslési eljárás eredményeképp) rendre a regressziós egyenes tengelymetszetét és meredekségét adják. Belátható, hogy az egyszerű lineáris regressziós modellben a becsült paraméterek értéke a következőképpen számítható:
amely egyenletekben a függő változó mintaátlaga, a független változó mintaátlaga, vektor és vektor ( a transzponálást jelöli).
E formulákból a lineáris regresszió intuitív értelmezése látható: 1.) a tengelymetszet a független változó átlagát adja, amennyiben a magyarázó változó értéke (átlagban vagy egyenként) nulla, 2.) a meredekség a két változó közti kovarianciát, "együttmozgást" mutatja (megfelelő normalizálás mellett).
Megjegyzendő, hogy a konstans tag elhagyható a modellből, ez esetben azonban a becsült regressziós egyenest "átkényszerítjük" az origón. Ez általában rosszabb illeszkedést idéz elő.
A lineáris regresszió alkalmazásának feltételei Lásd még: Legkisebb négyzetek módszere § Mellékfeltételek
A standard lineáris regressziós modellek használata a standard becslési technikákkal számos – a magyarázó (x) és kimeneti (y) változókra, illetve ezek kapcsolatára vonatkozó - feltételhez kötött. Ezeknek a kritériumoknak az enyhítésére (vagy akár teljes kiküszöbölésére) különböző kiterjesztett eljárásokat fejlesztettek ki, amelyek általában bonyolultabbá és időigényesebbé teszik a becslési eljárást, illetve több adatra is szükség lehet ugyanolyan precíz modell elkészítéséhez. Az alábbiakban azok a főbb feltételek kerülnek bemutatásra, amelyeket a standard lineáris regressziós modellek alkalmazásakor használunk standard becslési technikákkal (pl. a Legkisebb négyzetek módszere): Gyenge exogenitás. Ez lényegében azt jelenti, hogy a magyarázó változók (x) fix értékekként kezelhetők, nem pedig valószínűségi változókként. Ez azt jelenti például, hogy a magyarázó változókat hibamentesnek feltételezzük - vagyis nem tartalmaznak mérési hibát. Bár ez a feltétel sok esetben irreális, ennek elvetése a lényegesen bonyolultabb, változók hibáinak modelljéhez vezet. Linearitás. Ez azt jelenti, hogy a kimeneti változó (y) átlaga a paraméterek (regressziós együtthatók) és a magyarázó változók (x) lineáris kombinációja. Fontos megjegyezni, hogy ez a feltétel sokkal kevésbé korlátozó, mint amilyennek elsőre tűnhet. Mivel a magyarázó változókat (x) fix értékként kezeljük (lásd feljebb, a Gyenge exogenitás feltételénél), a linearitás valójában csak a paraméterek korlátozása. Maguk a magyarázó változók önkényesen transzformálhatók, és valójában ugyanazon mögöttes magyarázó változó több példánya is hozzáadható, mindegyiket másképp transzformálva. Ezt a technikát alkalmazzák például polinomiális regresszióban, amely lineáris regressziót alkalmaz a kimeneti változó illesztésére egy magyarázó változó tetszőleges polinomiális függvényeként (egy adott rangsorig). Ennyi rugalmasság mellett az olyan modellek, mint a polinomiális regresszió, gyakran „túl sok erővel” rendelkeznek abban a tekintetben, hogy hajlamosak az adatok túlillesztésére. Ennek eredményeként általában valamilyen szabályozást kell alkalmazni, hogy megakadályozzuk az ésszerűtlen eredmények megjelenését a becslési folyamatban. Gyakori példák a gerincregresszió és a lasszó regresszió. Bayes lineáris regresszió is alkalmazható, amely természeténél fogva többé-kevésbé védett a túlillesztés problémájával szemben. (Valójában a gerincregresszió és a lasszó regresszió is a Bayes-féle lineáris regresszió speciális eseteinek tekinthetők.) Állandó variancia (más néven homoskedaszticitás). Ez azt jelenti, hogy a kimeneti változó (y) különböző értékeinek hibája azonos szórással rendelkezik, függetlenül a magyarázó változók (x) értékeitől. A gyakorlatban ez a feltételezés érvénytelen (vagyis a hibák heteroszkedasztikusak), ha a kimeneti változó széles skálán változhat. Annak érdekében, hogy ellenőrizzük a heterogén hibaváltozást, vagy ha a maradéktagok (reziduálisok) mintázata megsérti a homoszkedaszticitás modell feltételeit (a hiba ugyanúgy változik a „legjobban illeszkedő vonal” körül az x összes pontjára), körültekintően vizsgáljuk meg a maradék hiba és a magyarázó változók értékei közötti kapcsolatot: szisztematikus változás következik be az abszolút vagy négyzetes maradéktagokban, ha a magyarázó változókkal ábrázoljuk. Ez azt jelenti, hogy a hibák nem oszlanak el egyenletesen a regressziós vonalon. A heteroszkedaszticitás azt eredményezi, hogy a pontok körül megkülönböztethető varianciák átlagolódnak, amely pontatlanul reprezentálja a vonal összes varianciáját. Valójában a maradéktagok csoportosulva jelennek meg az előre jelzett ábráikon a lineáris regressziós vonal mentén elhelyezkedő pontok nagyobb és kisebb értékeinél, és a modell átlagos négyzethibája pontatlan lesz. Jellemzően például egy olyan kimeneti változónak, amelynek az átlaga nagy, nagyobb lesz a szórása, mint annak, amelynek az átlaga kicsi. Például egy olyan személynek, akinek éves jövedelmét 100 000 dollárra jósolják, könnyen 80 000 vagy 120 000 dolláros lehet tényleges jövedelme (a szórás 20 000 dollár körüli), míg egy másik, 10 000 dolláros jövedelemmel rendelkező személynek valószínűleg nem ugyanaz a 20 000 dollár körüli szórás lesz jellemző a jövedelmére, ami azt jelentené, hogy tényleges jövedelme 10 000 és 30 000 dollár között változik. (Valójában, amint a példa is mutatja, sok esetben - gyakran ugyanazokban az esetekben, amikor a normális eloszlású hibák feltétele nem teljesül - a varianciát vagy a szórást az átlaggal arányosnak, és nem állandónak kell becsülni.) Egyszerű lineáris regressziós becslési módszerek kevésbé pontos paraméterbecslést és félrevezető következtetési mennyiségeket adnak (például standard hibákat, ha jelentős heteroszkedaszticitás van jelen). A különböző becslési technikák (pl. súlyozott legkisebb hibanégyzetek és heteroszkedaszticitás-konzisztens standard hibák) azonban a heteroszkedaszticitást meglehetősen általános módon kezelhetik. A Bayes-féle lineáris regressziós technikák akkor is alkalmazhatók, amikor feltételezzük, hogy a variancia az átlag függvénye. Bizonyos esetekben az is megoldható, hogy a kimeneti változót transzformáljuk (pl. a lineáris regressziós modellt használva a kimeneti változó logaritmusát illesztjük az egyenesre, ami azt jelenti, hogy a válaszváltozó log-normális eloszlású lesz, nem pedig normális). A hibák függetlensége. Ez azt feltételezi, hogy a kimeneti változók hibái nem korrelálnak egymással. (A tényleges statisztikai függetlenség erősebb feltétel, mint a puszta korreláció hiánya, ezért gyakran nincs szükség a hibák függetlenségének teljesülésére. Ugyanakkor hasznos lehet, ha ismert a fennállása.) Egyes módszerek (pl. általánosított legkisebb négyzetek) képesek kezelni a korrelált hibákat, bár jellemzően lényegesen több adatot igényelnek, hacsak nem használnak valamiféle szabályozást a modell elfogulatlanságára a korrelálatlan hibák feltételezéséhez. A probléma kezelésének általános módja a Bayes-féle lineáris regresszió. Nincs tökéletes multikollinearitás a magyarázó változókban. A magyarázó változók nem korrelálhatnak egymással túl erősen (r>,08 kisebb); különben tökéletes multikollinearitás áll fenn. Ennek oka lehet két vagy több tökéletesen korreláló magyarázó változó (pl., ha ugyanazt a magyarázó változót tévesen adják meg kétszer, akár az egyik másolat átalakítása nélkül, akár az egyik másolat lineáris átalakításával). Akkor is előfordulhat, ha a becsülendő paraméterek számához képest túl kevés adat áll rendelkezésre (pl. kevesebb adatpont, mint regressziós együtthatók). Tökéletes multikollinearitás esetén a β paramétervektor nem lesz azonosítható - nincs egyedi megoldása. Legfeljebb néhány paramétert leszünk képesek azonosítani, azaz szűkíteni az értékét az Rp valamilyen lineáris alterére. Lásd a részleges legkisebb négyzetek regresszióját. A multikollinearitással rendelkező lineáris modellek illesztésére is fejlesztettek ki módszereket; ezek közül néhány további feltételhez kötött, például a „hatás ritkasága" - vagyis a hatások nagy része pontosan nulla. Fontos megjegyezni, hogy a paraméterbecsléshez használt, számítási szempontból drágább, iterált algoritmusok, mint amiket az általánosított lineáris modellekben használnak, nem szenvednek ettől a problémától. Lásd még: többszörös lineáris regresszió. Ezen a feltételeken túl az adatok számos más statisztikai tulajdonsága is erősen befolyásolja a különböző becslési módszerek hatékonyságát: