Анализ полных наблюдений (, реже ) — статистический метод обработки пропущенных данных, основанный на удалении всех наблюдений с неполными признаковыми описаниями. Считается самым простым способом разрешения проблемы пропущенных данных.
Оценка регрессий при анализе полных наблюдений Представим линейную регрессионную модель вида , где — вектор целевых значений, — матрица значений независимых переменных, — вектор регрессионных коэффициентов, — вектор регрессионных остатков.
Пусть , если -е наблюдение имеет полное признаковое описание и в противном случае — то есть . Тогда модель с использованием исключительно полных наблюдений будет формулироваться следующим образом: , где и — векторы новых регрессионных коэффициентов и остатков соответственно.
МНК-оценка вектора в таком случае выглядит следующим образом: .
Ограничения метода
Анализ полных наблюдений позволяет получать несмещённые оценки при регрессионном анализе (с использованием МНК) при условии, что вероятность пропуска значения () зависит от независимых переменных (), а не регрессионных остатков (). Действительно, смещённость оценок может быть связана с тем, что пропуск данных не случаен (MNAR, ). Например, респонденты отказываются отвечать на какой-то сензитивный вопрос — в таком случае в выборке останутся только те респонденты, которые (по каким-то причинам) склонны отвечать на вопросы определённого типа. Данное условие может не выполняться в двух случаях: Невключение какой-то значимой переменной (omitted variable). Неверная спецификация одной из независимых переменных (то есть включённая переменная некорректно отражает другую, «истинную»). Кроме того, вероятность пропуска может быть связана и с откликом ()Тем не менее, показывается (), что для валидности метода достаточно независимости от переменных-регрессоров, а не полное соответствие допущению MСAR ().. Помимо этого условия несмещённости, определённого для «истинной» линейной регрессионной модели, большую роль играет корректность выбора функциональной формы зависимости между независимой и зависимой переменными. Эти допущения зачастую не работают в социальных науках: верная спецификация моделей и точная функциональная форма редко бывают доподлинно известны.
Использование методики анализа полных наблюдений приводит к уменьшению размера исследуемой выборки, что также создаёт проблемы. Это сокращает статистическую мощность критериев, которые могут применяться на данных. Кроме того, метод может привести к получению неэффективных оценок, если удаление наблюдений значительно сократит объясняемую дисперсию.
Сравнение с другими методами В случаях, когда изложенные недостатки и ограничения анализа полных наблюдений имеют место, прибегают к альтернативным, более сложным методам обработки пропущенных данных: попарное удаление пропущенных наблюдений (), введение дамми на пропуск, а также множественная импутация (). Литтл и Рубин отмечали, что анализ полных наблюдений приводит к потере неоправданного объёма дисперсии, если статистический метод подразумевает исследование одной переменной (например, нахождение среднего значения), ведь в таком случае из выборки будут исключены даже те наблюдения, у которых значения в этой переменной не пропущены, и рекомендовали для таких случаев простую замену — анализ доступных значений.
Тем не менее, в ряде случаев анализ полных наблюдений может обладать преимуществами по сравнению с более сложными альтернативами.
Анализ полных наблюдений широко используется в анализе «», широко распространённом в экономике образования, где средний эффект от вмешательства на полных наблюдениях сравнивается с эффектом, рассчитанным с включением наблюдений с неполными признаковыми описаниями.
В статистических пакетах В SPSS использование методики анализа полных наблюдений при корреляционном, регрессионном и других типах статистического анализа осуществляется посредством включения подкоманды /MISSING=LISTWISE в синтаксис применяемой функции. В при построении регрессий, корреляционных и ковариационных матриц по умолчанию удаляются наблюдения с пропущенными значениями. В R есть несколько способов применения анализа полных наблюдений: стандартные функции na.omit(), complete.cases() и параметр na.rm = TRUE, «механически» удаляющие наблюдения с пропущенными значениями переменных, а также функция ld() для матричных объектов из пакета (библиотеки) ForImp.
Примечания
Литература
Ссылки Missing Data: Listwise vs. Pairwise. Statistics Solutions.
Категория:Анализ данных