Rozkład wielopunktowy (ang. categorical distribution lub multinoulli distributionMurphy, K. P. (2012). Machine learning: a probabilistic perspective, p. 35. MIT press. .) – dyskretny rozkład prawdopodobieństwa opisujący możliwe wyniki zmiennej losowej mogącej przyjąć jedną z k kategorii. Każda z kategorii ma przypisane oddzielne prawdopodobieństwo. Parametry określające prawdopodobieństwa każdego możliwego wyniku są ograniczone tylko tym, że muszą się mieścić w przedziale od 0 do 1, a suma wszystkich prawdopodobieństw musi wynosić 1.
Kategorie nie muszą mieć określonego porządku, ale dla wygody przy opisywaniu rozkładu często oznacza się je arbitralnie nadanymi etykietami liczbowymi (np. od 1 do k).
K-wymiarowy rozkład wielopunktowy jest najbardziej ogólnym rozkładem zdarzenia mającego k możliwych rezultatów; każdy inny dyskretny rozkład w przestrzeni zdarzeń o rozmiarze k jest jego szczególnym przypadkiem.
Rozkład wielopunktowy jest uogólnieniem rozkładu dwupunktowego obejmującym jakościowe zmienne losowe z więcej niż dwoma możliwymi kategoriami, takie jak wynik rzutu kostką. Z drugiej strony rozkład wielopunktowy jest szczególnym przypadkiem rozkładu wielomianowego, ponieważ podaje prawdopodobieństwa potencjalnych wyników dla pojedynczej próby (pojedynczego losowania), a nie dla wielu prób.
Terminologia
W niektórych dziedzinach, takich jak uczenie maszynowe i przetwarzanie języka naturalnego, rozkłady wielopunktowe i wielomianowe są ze sobą łączone i rozkład wielopunktowy nazywany jest również „rozkładem wielomianowym”. Takie upraszczające podejście wynika z faktu, że czasem wygodnie jest wyrazić wynik rozkładu wielopunktowego w postaci K-elementowego wektora z jednym elementem równym 1 i wszystkimi pozostałymi równymi 0), a nie w postaci liczby całkowitej z przedziału od 1 do K; w tej formie rozkład wielopunktowy jest równoważny rozkładowi wielomianowemu dla pojedynczej próby.
Sposób sformułowania Rozkład wielopunktowy to dyskretny rozkład prawdopodobieństwa, którego przestrzeń zdarzeń elementarnych jest zbiorem K określonych kategorii. Jest to uogólnienie rozkładu dwupunktowego i rozkładu zero-jedynkowego dla jakościowej zmiennej losowej.
W jednym ze sformułowań rozkładu przestrzeń zdarzeń elementarnych przedstawia się w formie skończonego ciągu liczb całkowitych; może to być {0, 1, ..., k − 1}, {1, 2, ..., k} lub jeszcze inny zestaw liczb. W poniższych opisach dla wygody użyto {1, 2, ..., k}, chociaż jest to niezgodne z konwencją dotyczącą rozkładu zero-jedynkowego, która wykorzystuje {0, 1}. W tym przypadku funkcja masy prawdopodobieństwa f wynosi:
gdzie , oznacza prawdopodobieństwo uzyskania kategorii i, zaś
Innym sposobem zapisu prawdopodobieństwa w rozkładzie wielopunktowym, który wydaje się bardziej skomplikowany, ale ułatwia matematyczne przekształcenia, jest sposób wykorzystujący nawias Iversona:
Gdzie ma wartość 1, jeśli , zaś 0 w przeciwnym razie. Taka formuła ma wiele zalet, m.in.:
Łatwiej jest zapisać funkcję wiarygodności zbioru niezależnych zmiennych wielopunktowych o identycznym rozkładzie. Uwidoczniona jest analogia między rozkładem wielopunktowym i rozkładem wielomianowym. Pokazuje, dlaczego rozkład Dirichleta jest rozkładem sprzężonym rozkładu wielopunktowego, i pozwala na wyznaczenie rozkładu a posteriori.
Inny sposób sformułowania jeszcze wyraźniej ukazuje związek między rozkładem wielopunktowym i wielomianowym, ponieważ traktuje rozkład wielopunktowy jako szczególny przypadek rozkładu wielomianowego, w którym parametr n rozkładu wielomianowego (liczba prób) jest ustalony na 1. W tym sformułowaniu przestrzeń zdarzeń można uznać za zbiór k-elementowych wektorów x, zawierających pojedynczą jedynkę i zera poza tym. Określony element o wartości 1 wskazuje, która kategoria została wybrana. Funkcja masy prawdopodobieństwa f przy takim sposobie sformułowania to:
gdzie jest prawdopodobieństwem uzyskania elementu i oraz .
Własności mały| Możliwe zestawy prawdopodobieństw rozkładu wielopunktowego o liczbie kategorii tworzą dwuwymiarowy sympleks standardowy , w trójwymiarowej przestrzeni.
Rozkład jest całkowicie określony przez k prawdopodobieństw: , i = 1,... , k, gdzie . Możliwe wektory prawdopodobieństw tworzą standardowy -wymiarowy sympleks. Dla k = 2 (rozkładu zero-jedynkowego) sprowadza się to do jednowymiarowego sympleksu (odcinka),
Niech ma rozkład wielopunktowy, zaś wektor losowy Y niech składa się z elementów:
gdzie jest funkcją wskaźnikową. Wtedy Y ma rozkład będący szczególnym przypadkiem rozkładu wielomianowego z parametrem . Suma niezależnych zmiennych Y o jednakowym rozkładzie wielopunktowym z parametrem ma rozkład wielomianowy z parametrami i Sprzężony rozkład aprioryczny rozkładu wielopunktowego jest rozkładem Dirichleta. Statystyką dostateczną dla ustalonej całkowitej liczby n niezależnych prób jest zbiór zliczeń (lub, równoważnie, częstość) obserwacji w każdej kategorii. Funkcja charakterystyczna obserwacji o wartości i (czyli w notacji Iversona lub z wykorzystaniem delty Kroneckera) ma rozkład zero-jedynkowy z parametrem
Zobacz też
Rozkład Dirichleta Rozkład wielomianowy Rozkład zero-jedynkowy
Przypisy
Kategoria:Rozkłady dyskretne