Станда́ртне відхи́лення () або середнє квадратичне відхилення — у теорії ймовірностей і статистиці один із найпоширеніших показників розсіювання (розкиду) значень випадкової величини відносно її математичного сподівання, тобто центру розподілу. Має ту ж розмірність, що і випадкова величина. У літературі для позначення стандартного відхилення використовується літера грецької абетки сигма σ.
За визначенням середнє квадратичне відхилення є додатнім квадратним коренем із дисперсії. Як і дисперсія характеризує розсіяння значень навколо центру розподілу: більшому значенню стандартного відхилення відповідає більший їх розкид. Практична перевага стандартного відхилення як міри розсіяння в порівнянні з дисперсією полягає в тому, що його розмірність збігається з розмірністю випадкової величини, в той час як розмірність дисперсії — квадрат розмірності випадкової величини.
Іноді середнє квадратичне відхилення називають «стандартною похибкою» або «стандартною помилкою». Ці назви вживати не рекомендується, оскільки це може призвести до плутанини і неправильного тлумачення результатів того чи іншого дослідження.
Слід зауважити, що стандартне відхилення випадкової величини не є випадковою величиною.
Історія Термін стандартне відхилення вперше у монографіях використав Карл Пірсон в 1894 році, перед тим почав використовувати його при читанні лекцій. Цим він замінив альтернативні назви подібного поняття, що існували раніше: наприклад, Гаусс використовував термін середня похибка.
Визначення Нехай — випадкова величина з математичним сподіванням μ: ,
де — оператор математичного сподівання.
Тоді
, де — дисперсія випадкової величини .
Отже, стандартне відхилення — це додатній квадратний корінь із дисперсії, тобто додатній квадратний корінь із математичного сподівання квадрату відхилення випадкової величини від її математичного сподівання.
Стандартне відхилення існує не для будь-якої випадкової величини. Як видно, умовою існування стандартного відхилення випадкової величини є існування її математичного сподівання. Прикладом розподілу, для якого не існує математичне сподівання, а отже не існує і стандартне відхилення, є розподіл Коші.
Неперервна випадкова величина Для випадку неперервної випадкової величини з функцією густини ймовірностей формула для стандартного відхилення набуває вигляду
де — математичне сподівання, а інтеграли є невласними з границями інтегрування від до .
Приклад.
Для неперервної випадкової величини , яка рівномірно розподілена в діапазоні від -1 до + 1, стандартне відхилення
.
Тут було враховано, що в даному випадку , за межами відрізка та дорівнює 1/2 в межах цього відрізка.
Дискретна випадкова величина Нехай — дискретна випадкова величина, для якої ймовірність події становить . Тоді вираз для стандартного відхилення набуває вигляду:
,
де — математичне сподівання.
Приклад.
Під час кидання грального кубика для гри в кості, якщо кубик симетричний, з однаковою ймовірністю 1/6 може випасти будь-яке число від 1 до 6. Фактично, число , що випадає під час кидання кубика, — дискретна рівномірно розподілена випадкова величина, яка може приймати цілі значення в діапазоні від 1 до 6. З урахуванням, що математичне сподівання , стандартне відхилення цієї величини .
Використання Стандартне відхилення використовують під час розрахунку середнього квадратичного відхилення середнього арифметичного, для побудови довірчих інтервалів, статистичної перевірки гіпотез, виміру лінійного взаємозв'язку між випадковими величинами.
Оцінювання Стандартне відхилення усієї сукупності може застосовуватися у випадках, де відібрано кожного представника сукупності (стандартизоване тестування). У випадках коли це не можливо, стандартне відхилення σ оцінюють на основі випадкової вибірки із сукупності і розраховують статистику для вибірки, яка використовуються для оцінки стандартного відхилення сукупності. Це називається статистичною оцінкою, а оцінене значення називається стандартним відхиленням вибірки, що позначається як s (іноді зі позначеннями). Однак, на відміну від випадку із оцінкою математичного сподівання для сукупності, де оцінкою для вибірки є вибіркове середнє, яке є простою оцінкою із багатьма властивостями для різних задач (незміщена, ефективна, максимальної правдоподібності), але не існує єдиної оцінки з усіма цими властивостями для стандартного відхилення, а незміщена оцінка для стандартного відхилення пов'язана із технічними складностями. Найчастіше, стандартне відхилення оцінюється за допомогою корегованого вибіркового стандартного відхилення (із використанням корекції N − 1), визначеного нижче. Однак інші оцінки можуть бути кращими за інших умов: некорегована оцінка (з використанням N) призводить до менших значень середньоквадратичної похибки, а використання N − 1.5 (для нормального розподілу) майже повністю усуває зміщення.
Некореговане стандартне відхилення для вибірки Формулу для стандартного відхилення сукупності (для скінченної сукупності) можливо застосувати до вибірки, використавши як розмір вибірки розмір даної вибірки (хоча фактичний розмір сукупності для якої було отримано вибірки є набагато більшим). Ця оцінка, позначається як sN, і відома як некореговане вибіркове стандартне відхилення, або іноді стандартне відхилення вибірки (що представляє і розглядається як ціла сукупність), і визначається так:
де значення спостережень даної вибірки а середнє значення цих спостережень, а в знаменнику N означає об'єм вибірки. Середньоквадратичне відхилення — дорівнює кореню квадратному з дисперсії випадкової величини для вибірки, що в свою чергу є середнім значенням для квадратичних відхилень від вибіркового середнього.
Це конзистентна оцінка (вона збігається за імовірністю до значення, що відповідає сукупності із збільшенням об'єму вибірки до нескінченності), і ця оцінка є оцінкою максимальної правдоподібності якщо сукупність має нормальний розподіл. Однак, вона є зміщеною оцінкою, оскільки оцінені значення як правило значно занижені. Зміщення зменшується із збільшенням об'єму вибірки, зменшуючись у порядку пропорційному до 1/N, і таким чином зміщення є найбільш відчутним для малих і середніх вибірок; для зміщення буде меншим за 1 %. Таким чином, для дуже великих вибірок, це некореговане вибіркове стандартне відхилення є в загальному випадку прийнятним. Ця оцінка має також рівномірно меншу середньоквадратичну похибку ніж кореговане стандартне відхилення вибірки.
Кореговане стандартне відхилення для вибірки
При невеликій вибірці () вводиться поправка Бесселя:
де: — стандартне відхилення, незміщена оцінка средньоквадратичного відхилення випадкової величини відносно її математичного сподівання; — дисперсія; — -й елемент вибірки; — середнє арифметичне вибірки:
— обсяг (розмір) вибірки.
Слід звернути увагу на відмінність стандартного відхилення (у знаменнику ) від кореня з дисперсії (у знаменнику ). Для малих обсягів вибірки оцінка дисперсії є дещо зміщеною на величину , для нескінченно великого обсягу вибірки різниця між вказаними величинами зникає.
Вибірка — лише частина генеральної сукупності. Генеральна сукупність — абсолютно всі можливі результати. Отримати результат, що не входить в генеральну сукупність — неможливо. Для випадку з киданням монети генеральною сукупністю є: цифра, ребро, орел. А ось пара орел-цифра — вже лише вибірка. Для генеральної сукупності математичне очікування збігається зі справжнім значенням оцінюваного параметра. А для вибірки — необов'язково. Математичне очікування вибірки має зміщення щодо дійсного значення параметра. Через це середньоквадратична помилка більша ніж дисперсія, оскільки дисперсія — математичне очікування квадрата відхилення від середнього значення, а середньоквадратичне відхилення — математичне очікування відхилення від справжнього значення. Різниця в тому, від чого шукаємо відхилення: коли дисперсія, то від середнього (і не важливо достеменне це середнє чи помилкове), а коли середньоквадратичне відхилення, то це відхилення від справжнього середнього значення.
Незміщене вибіркове стандартне відхилення На відміну від середнього і дисперсії, не існує формули незміщеної оцінки стандартного відхилення, яка б виконувалася для всіх розподілів. Замість неї, використовують s як базис, який масштабують за допомогою коефіцієнту поправки з метою утворити незміщену оцінку. Для нормального розподілу, незміщена оцінка задається як s/c4, де коефіцієнт поправки (який залежить від N) визначено за допомогою Гамма-функції, і дорівнює:
Це отримане із того, що вибірковий розподіл для стандартного відхилення вибірки відповідає (масштабованому) Хі розподілу, а коефіцієнт поправки є середнім даного хі розподілу.
Наближення можна виконати замінивши N − 1 на N − 1.5, в результаті буде отримано:
Похибка цього наближення зменшується квадратично (із 1/N2), і підходить для всіх вибірок, крім найменших або при необхідності мати найвищу точність: для N = 3 зміщення дорівнює 1.3 %, а для N = 9 зміщення уже буде меншим за 0.1 %.
Для інших розподілів, правильна формула буде залежати від розподілу, але основним правилом є використовувати таку поправку для наближення:
де γ2 означає поправку ексцесу для популяції. Цей параметр може бути або відомим заздалегідь для певного розподілу, або оціненим із даних.
Довірчий інтервал стандартного відхилення вибірки
Стандартне відхилення (СВ), яке ми отримуємо за допомогою вибірки розподілу, саме по собі не є абсолютно точним з двох причин: математичної (описаній тут за допомогою довірчого інтервалу) і з практичної причини вимірювання (похибки вимірювання). Математичний вплив описують за допомогою довірчого інтервалу або ДІ. Аби показати, як збільшення вибірки призведе до звуження довірчого інтервалу, наведемо такі приклади: Невелика сукупність розміром N = 2 має лише один ступінь свободи для оцінки стандартного відхилення. В результаті 95 % довірчого інтервалу для стандартного відхилення знаходиться в межах від 0.45 × СВ до 31.9 × СВ; і виглядає так:
де є p-им квантилем розподілу хі-квадрат із k ступенями свободи, а є рівнем довіри. Це є еквівалентно наступному виразу:
Із k = 1, і . Обернене значення квадратних коренів цих двох чисел дають нам множники 0.45 і 31.9 вказані вище.
Більша сукупність при N = 10 має 9 ступенів свободи при визначенні стандартного відхилення. Такий самий розрахунок, як наведено вище дозволяє отримати, що в цьому випадку 95 % ДІ знаходиться в межах від 0.69*СВ до 1.83*СВ. Тому навіть при сукупності вибірки розміром в 10, фактичне СВ може залишатися майже вдвічі більшим ніж отримане вибіркове СВ. Для сукупності вибірки N=100, це зменшується до 0.88*СВ до 1.16*СВ. Аби бути впевненим, що вибіркове стандартне відхилення близьке до фактичного необхідно мати вибірку із великою кількістю точок.
Ці ж формули можна застосувати для отримання довірчих інтервалів для дисперсії залишків для методу найменших квадратів, де k тепер буде задавати кількість ступенів свободи для похибки.
Суть стандартного відхилення (приклади)
Розглянемо наступний приклад, де є дві вибірки данихСтандартное отклонение:
1, 2, 3, 4, 5 -235, -103, 3, 100, 250
З сукупностей очевидно, що вони різні. Якщо порахувати середнє арифметичне, то отримаємо в обох випадках 3. Проте, в другій вибірці дані більше розсіяні довкола центру, а в першому випадку більше сконцентровані в центрі. Тому кажуть, що в другої вибірки велике стандартне відхилення, а в першої незначне. Якщо обчислити дані відхилення, то отримаємо σ1=1,6, а σ2=186. Різниця суттєва.
Здебільшого вибірки не відрізняються настільки, як у попередньому випадку. Наприклад, при проведенні ряду вимірювань отримали дві вибіркиЛакин Г. Ф. Биометрия: Учеб. пособие для биол. спец. вузов. — М: Высш. шк., 1990. — 352 с. — с. 42:
x1: 10, 15, 20, 25, 30, 40, 45, 50
x2: 10, 28, 28, 30, 30, 32, 32, 50