Достатня статистика для параметра що визначає деяке сімейство розподілів ймовірності — статистика така, що умовна імовірність вибірки при даному значенні не залежить від параметра Тобто виконується рівність:
Достатня статистика таким чином містить у собі всю інформацію про параметр що може бути одержана на основі вибірки X. Тому поняття достатньої статистики широко використовується в теорії оцінки параметрів.
Найпростішою достатньою статистикою є сама вибірка проте справді важливими є випадки коли величина достатньої статистики значно менша від величини вибірки, зокрема коли достатня статистика виражається лише кількома числами.
Достатня статистика називається мінімальною достатньою, якщо для кожної достатньої статистики T існує невипадкова вимірна функція g, що майже напевно.
Теорема факторизації
Теорема факторизації дає спосіб практичного знаходження достатньої статистики для розподілу ймовірності. Вона дає достатні і необхідні умови достатності статистики і твердження теореми іноді використовується як означення.
Нехай — деяка статистика, а — умовна функція щільності чи функція ймовірностей (залежно від виду розподілу) для вектора спостережень X. Тоді є достатньою статистикою для параметра якщо і тільки якщо існують такі вимірні функції h і g, що можна записати:
Доведення
Нижче подано доведення для часткового випадку коли розподіл ймовірностей є дискретним. Тоді — функція ймовірностей. Нехай дана функція має факторизацію, як у твердженні теореми і
Тоді маємо:
Звідси бачимо, що умовна ймовірність вектора X при заданому значенні статистики не залежить від параметра і відповідно — достатня статистика.
Навпаки можемо записати:
З попереднього маємо, що перший множник правої сторони не залежить від параметра і його можна взяти за функцію h(x) з твердження теореми. Другий множник є функцією від і і його можна взяти за функцію Таким чином одержано необхідний розклад, що завершує доведення теореми.
Приклади
Розподіл Бернуллі Нехай — послідовність випадкових величин, що рівні 1 з імовірністю p і рівні 0 з імовірністю 1 - p (тобто мають розподіл Бернуллі). Тоді
якщо взяти
Тоді дана статистика є достатньою згідно з теоремою факторизації, якщо позначити
Розподіл Пуассона Нехай — послідовність випадкових величин з розподілом Пуассона. Тоді
де
Дана статистика є достатньою згідно з теоремою факторизації, якщо позначити
Рівномірний розподіл Нехай — послідовність рівномірно розподілених випадкових величин . Для цього випадку
Звідси випливає, що статистика є достатньою.
Нормальний розподіл Для випадкових величин з нормальним розподілом достатньою статистикою буде
Властивості Для достатньої статистики T та бієктивного відображення статистика теж є достатньою. Якщо — статистична оцінка деякого параметра — деяка достатня статистика і то є кращою оцінкою параметра в сенсі середньоквадратичного відхилення, тобто виконується нерівність
причому рівність досягається лише коли є вимірною функцією від T. (Теорема Рао — Блеквела) З попереднього одержується, що оцінка може бути оптимальною в сенсі середньоквадратичного відхилення лише коли вона є вимірною функцією мінімальної достатньої статистики. Якщо статистика є достатньою і повною (тобто з того, що випливає, що ), то довільна вимірна функція від неї є оптимальною оцінкою свого математичного сподівання.
Див. також Статистична оцінка Теорема Рао — Блеквела
Джерела
Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.