thumb|350px|Wykresy rozrzutu pokazujące przykładowe zależności między zmiennymi wraz z odpowiadającymi im wartościami współczynnika korelacji Pearsona alt=Kwartet Anscombe’a – cztery fundamentalnie różne zestawy danych identycznych cechach statystycznych, takich jak średnia arytmetyczna, wariancja, współczynnik korelacji (r≈0,816). Anscombe ilustrował nim spostrzeżenie, że poza porównywaniem statystyk liczbowych, warto używać graficznych metod reprezentacji danych.|mały|Kwartet Anscombe’a – cztery zestawy danych o identycznych cechach statystycznych, takich jak średnia arytmetyczna, wariancja oraz współczynnik korelacji Pearsona (r≈0,816). Anscombe ilustrował w ten sposób uwagę, że poza porównywaniem statystyk liczbowych, warto używać graficznych metod reprezentacji danych.|348x348px Zależność statystyczna zmiennych losowych (korelacja, asocjacja) – związek pomiędzy dwiema zmiennymi losowymi i
Intuicyjnie, zależność dwóch zmiennych oznacza, że znając wartość jednej z nich, dałoby się przynajmniej w niektórych sytuacjach dokładniej przewidzieć wartość drugiej zmiennej, niż bez tej informacji.
W dalszej części artykułu będziemy rozważać zmienne losowe o wartościach rzeczywistych i zdarzenia określone na ustalonej przestrzeni probabilistycznej Jeśli jest zmienną losową, to symbolem oznaczać będziemy jej rozkład.
Dwie zmienne rzeczywiste
Definicja niezależności dwóch zmiennych losowych Def. Mówimy, że zmienne losowe są niezależne, gdy dla wszystkich liczb rzeczywistych zachodzi równość
tzn. iloczyn wartości ich dystrybuant obliczonych odpowiednio dla liczb a i b jest równy dystrybuancie pary zmiennych losowych , obliczonej w punkcie
Uwaga: Powyższy wzór uogólnia się na dowolną liczbę zmiennych losowych (por. Wiele zmiennych losowych o wartościach rzeczywistych.)
Definicja zależności dwóch zmiennych losowych Def. Mówimy, że zmienne losowe są zależne, gdy nie są one niezależne – to znaczy, dla pewnych liczb rzeczywistych
tzn. istnieją takie liczby , że iloczyn wartości dystrybuant odpowiednio dla liczb a i b nie jest równy dystrybuancie pary zmiennych losowych obliczonej w punkcie
Uwaga: Powyższy warunek można zapisać za pomocą powszechnie stosowanych symboli dystrybuant:
Szczególne przypadki zależności zmiennych losowych Zależność monotoniczna Def. Dodatnia zależność monotoniczna zachodzi, gdy zwiększenie wartości jednej ze zmiennych oznacza zwiększenie wartości oczekiwanej drugiej zmiennej.
Def. Ujemna zależność monotoniczna zachodzi, gdy zwiększenie jednej ze zmiennych oznacza zmniejszenie drugiej.
Ściśle zależność monotoniczna (a konkretniej jej odmiana zwana Quadrant Dependence) została określona przez Lehmana (1966). Def. Dodatnia zależność monotoniczna:
Def. Ujemna zależność monotoniczna:
Uwagi:
(1) Istnieją też inne definicje zależności monotonicznej. Lehman podał także dwie silniejsze definicje, a Kowalczyk i Pleszczyńska (1977) także definicję słabszą.
(2) Powyższe definicje obejmują skrajny przypadek zależności zmiennych W praktyce zależność nie musi być pełna. Miarą stopnia zależności monotonicznej są współczynniki korelacji rangowej.
Zależność liniowa Szczególnym przypadkiem zależności monotonicznej jest zależność liniowa. W przypadku skrajnym zachodzi, gdy jedna ze zmiennych jest liniowo zależna od drugiej zmiennej. W praktyce tu również zależność nie musi być pełna. Miarą stopnia zależności liniowej jest np. współczynnik korelacji Pearsona. Tw. Jeżeli zmienne losowe są niezależne i całkowalne, to ich kowariancja jest równa zeru. Bezpośrednim wnioskiem z powyższego twierdzenia jest nastepujace twierdzenie.
Twierdzenie (o wariancji parami niezależnych zmiennych losowych) Tw. Jeżeli zmienne losowe są całkowalne (tj. mają skończone wartości oczekiwane) i parami niezależne, to
tzn.wariancja sumy tych zmiennych jest równa sumie ich wariancji.
Innymi słowy: Przy niezależności nie pojawiają się dodatkowe składniki (kowariancje), więc „rozrzut” sumy jest po prostu sumą rozrzutów poszczególnych zmiennych.
Wiele zmiennych losowych o wartościach rzeczywistych
Definicja 1 niezależności n zmiennych losowych Def. Mówimy, że zmienne losowe są niezależne, gdy dla dowolnych liczb rzeczywistych zachodzi równość
Uwaga:
Niezależność każdej pary zmiennych wybranych spośród zmiennych nie implikuje koniecznie niezależności zmiennych .
Podobnie niezależność każdej trójki zmiennych wybranych spośród zmiennych nie implikuje koniecznie niezależności zmiennych . Itd.
Inne sformułowanie warunku niezależności podano niżej.
Definicja 2 niezależności n zmiennych losowych Def. Zmienne losowe nazywamy niezależnymi, gdy dla każdego ciągu zbiorów borelowskich (na prostej) spełniony jest warunek
Innymi słowy, zmienne są niezależne wtedy i tylko wtedy, gdy generowane przez nie σ-ciałaPrzypomnijmy, że dla funkcji σ-ciałem generowanym przez funkcję nazywamy najmniejsze w sensie inkluzji σ-ciało podzbiorów względem którego funkcja ta jest mierzalna. Tym σ-ciałem jest rodzina są niezależne.
Definicja niezależności zdarzeń losowych Używając zmiennych losowych, możemy opisywać niezależność zdarzeń losowych.
Def. Zdarzenia są niezależne wtedy i tylko wtedy, gdy niezależne są ich funkcje charakterystyczne rozpatrywane jako zmienne losowe.
Twierdzenia Tw. 1 Jeśli są zmiennymi losowymi, to każde dwa z następujących zdań są równoważne: Zmienne losowe są niezależne. tzn. rozkład łączny wektora losowego jest produktem rozkładów odpowiednich zmiennych losowych. dla każdych liczb rzeczywistych tzn. dystrybuanta wielowymiarowa wektora losowego jest iloczynem dystrybuant odpowiednich zmiennych losowych.
Tw. 2 Jeśli zmienne losowe mają rozkłady ciągłe, a są ich gęstościami, to są one niezależne gdy funkcja
jest gęstością wektora losowego
Tw. 3 Jeżeli są zmiennymi losowymi o rozkładach dyskretnych, a są takimi zbiorami przeliczalnymi, że
to zmienne te są niezależne wtedy i tylko wtedy, gdy dla każdych liczb zachodzi równość
Tw. 4 Jeżeli zmienne losowe są niezależne, a jest ściśle rosnącym ciągiem liczb ze zbioru to σ-ciała
są niezależne.
Definicja niezależności dowolnej rodziny zmiennych losowych Def. Jeśli gdzie jest pewnym zbiorem indeksów, jest rodziną zmiennych losowych określonych na tej samej przestrzeni probabilistycznej, to mówimy, że jest ona niezależna, gdy dla każdej liczby naturalnej oraz dla każdego zbioru indeksów będacego podzbiorem niezależne są zmienne losowe
Twierdzenia (o wartość oczekiwana iloczynu niezależnych zmiennych losowych) Tw. Korzystając z twierdzenia Fubiniego, można dowieść, że:
(1) Jeśli są niezależnymi zmiennymi losowymi, to wartość oczekiwana modułu ich iloczynu wyraża się wzorem
(2) Jeśli ponadto zmienne te są całkowalne, to
Twierdzenie odwrotne nie jest jednak prawdziwe:
Tw. Niech oraz niech będzie σ-ciałem zbiorów borelowskich na tym zbiorze, a będzie obcięciem miary Lebesgue’a do tego σ-ciała. Rozważmy następujące zmienne losowe
Wartość oczekiwana każdej z nich oraz ich iloczynu wynosi 0, natomiast zmienne te nie są niezależne, gdyż w przeciwnym razie byłyby niezależne zmienne (jedynka trygonometryczna),
czyli w konsekwencji dla każdego zbioru borelowskiego byłby spełniony warunek
co oczywiście nie jest prawdą.
Twierdzenia wykorzystujące założenie niezależności zmiennych Funkcja charakterystyczna sumy niezależnych zmiennych losowych jest iloczynem funkcji charakterystycznych tych zmiennych. Funkcja tworząca sumy niezależnych zmiennych losowych (przyjmujących wartości w zbiorze liczb naturalnych z zerem) jest iloczynem funkcji tworzących tych zmiennych losowych. Prawo zero-jedynkowe Kołmogorowa Jeżeli jest ciągiem niezależnych zmiennych losowych, to
Rozkład sumy niezależnych zmiennych losowych, z których choć jedna ma rozkład ciągły, jest rozkładem ciągłym. Gęstością sumy niezależnych zmiennych losowych o rozkładach ciągłych jest splot gęstości tych zmiennych losowych. Rozkładem (dystrybuantą) sumy niezależnych zmiennych losowych jest splot rozkładów (dystrybuant) tych zmiennych. Twierdzenie Kołmogorowa-Prochorowa Tożsamość Walda Nierówność Kołmogorowa Twierdzenie Kołmogorowa Mocne prawo wielkich liczb Kołmogorowa Słabe prawo wielkich liczb Twierdzenie Poissona Twierdzenie Gliwenki
Popularne błędy Zależność a rozkłady zmiennych Znając rozkłady brzegowe każdej ze zmiennych z osobna, nic nie da się powiedzieć o ewentualnej zależności lub braku zależności pomiędzy nimi. Na przykład między dwiema zmiennymi i przyjmującymi każdą z wartości {1,2,3,4,5,6} z tym samym prawdopodobieństwem (rozkład jednostajny dyskretny), może istnieć korelacja ujemna, dodatnia, lub mogą być niezależne: Jeśli zmienna jest wynikiem rzutu kostką, a to zmienne i są zależne, współczynnik korelacji wynosi -1 Jeśli zmienna jest wynikiem rzutu kostką, a to zmienne i są zależne, współczynnik korelacji wynosi +1 Jeśli każda z nich modeluje wyniki rzutu inną kostką, to zmienne i są niezależne, współczynnik korelacji wynosi 0. Jeśli zmienna jest wynikiem rzutu kostką, a jest w części przypadków równe a w pozostałych przypadkach równe wynikowi rzutu drugą kostką, to zmienne i są zależne, współczynnik korelacji będzie gdzieś pomiędzy 0 a +1.
W każdym z tych przypadków rozkład brzegowy każdej ze zmiennych jest identyczny, jednak różni się ich rozkład łączny. W trzech pierwszych przypadkach różni się np. zbiór możliwych wartości pary W pierwszym przypadku jest to W drugim przypadku W trzecim przypadku Zmienne są niezależne, bo informacja o wartości jednej z nich nic nie mówi o wartości drugiej. W czwartym przypadku zbiór możliwych wartości jest taki sam jak w trzecim, jednak różnią się prawdopodobieństwa, z jakimi są one przyjmowane. Znajomość zmiennej pozwala dokładniej przewidywać znajomość zmiennej (formalnie: rozkład warunkowy zmienia się w zależności od ), więc są zależne.
Zależność jest więc cechą rozkładu łącznego porównywanych zmiennych.
Zależność a współczynnik korelacji Często błędnie zakłada się, że zależność statystyczna jest równoważna niezerowemu współczynnikowi korelacji. Nie jest to prawda. Na przykład zmienne i mogą być związane zależnością:
Jest to przykład ścisłej zależności. Jednak zarówno klasyczna korelacja Pearsona, jak i rangowa dadzą wartość zero (dla próbki – bliską zeru), gdyż zależność ta nie jest monotoniczna, ani tym bardziej liniowa.
Zależność a wynikanie Częstym błędem jest przyjmowanie, że zmienna nawet silnie skorelowana z inną jest jej skutkiem. Uświadamia to taki oto przykład: dźwięk dworcowego zegara wybijającego godzinę pierwszą jest niezwykle silnie skorelowany z odjazdem pociągu o 1:00 ze stacji, nie jest on jednak żadną przyczyną ruchu – i odwrotnie, odjazd pociągu nie jest przyczyną dźwięku. W tym wypadku mamy jedynie do czynienia ze współwystępowaniem zjawisk, a nie związkiem przyczynowo-skutkowym. W związku z tym jeśli czynnik A (np. wykształcenie) i czynnik B (np. zarobki) korelują ze sobą, to powinno się tworzyć przynajmniej kilka hipotez na temat ewentualnego związku przyczynowego między nimi: Czynnik A wpływa na czynnik B. Tu: wykryto związek między zarobkami a wykształceniem, bo wyższe wykształcenie powoduje że dana osoba więcej zarabia. Czynnik B wpływa na czynnik A. Tu: ludzie zamożniejsi mają lepszy dostęp do wykształcenia i dlatego istnieje związek między zarobkami a wykształceniem. Jednocześnie A wpływa na B i B na A Tu: z jednej strony ludzie zamożniejsi mają lepszy dostęp do wykształcenia, ale z drugiej ludzie lepiej wykształceni mają lepsze zarobki. Istnieje czynnik C niezidentyfikowany w badaniu, który koreluje z A i z B. Tu: miejsce zamieszkania (lub ambicje) mogą być czynnikiem, który z jednej strony powoduje, że ktoś więcej zarabia, a z drugiej, że ma wyższe wykształcenie.
Korelacja nie dowodzi więc żadnego związku przyczynowo-skutkowego.