Масштабирование признаков () — этап предобработки данных в статистике, интеллектуальном анализе данных и машинном обучении, заключающийся в преобразовании числовых признаков с целью приведения их к единому сопоставимому диапазону или стандартному распределению.

Большинство математических алгоритмов чувствительны к различиям в масштабах и единицах измерения исходных переменных. Например, если один признак измеряется в миллионах (например, ВВП страны), а другой — в долях единицы (например, уровень инфляции), алгоритмы, основанные на расчёте расстояний (k-NN, SVM, метод k-средних) или градиентном спуске, будут оптимизировать модель преимущественно по признаку с большей абсолютной величиной. Масштабирование устраняет эту проблему, обеспечивая равный вклад каждого признака в итоговую метрику.

Основные методы масштабирования

Методы масштабирования классифицируются по характеру математического воздействия на исходный массив данных и делятся на линейные, статистические, нелинейные (функциональные), адаптивные и непараметрические.

Линейное масштабирование (Linear Scaling) Линейные методы изменяют границы и шаг значений признака, строго сохраняя исходную форму распределения данных и геометрические пропорции между объектами. Min-Max нормализация Min-Max нормализация (Rescaling / Min-Max Scaling): Перенос значений признака в жёстко заданный фиксированный диапазон (обычно от 0 до 1 или от -1 до 1). Рассчитывается по формуле:

Главным недостатком метода является его критическая чувствительность к единичным аномальным выбросам: при наличии экстремального максимума или минимума основная масса данных сжимается в узкий нечитаемый интервал. Десятичное масштабирование Десятичное масштабирование (Decimal Scaling): Масштабирование путём деления всех значений признака на степень числа 10, определяемую по максимальному абсолютному значению в выборке: , где — наименьшее целое число, при котором .

Статистическая стандартизация (Standardization)

Статистические методы опираются на внутренние параметры распределения (среднее значение, дисперсию) и преобразуют данные в безразмерные индексы, центрируя их вокруг нуля. Z-стандартизация Z-стандартизация (Z-score Standardization): Преобразование признака таким образом, чтобы его математическое ожидание стало равным 0, а стандартное отклонение — 1. Формула расчёта:

Метод эффективен, если распределение близко к нормальному, однако среднее () и стандартное отклонение () сильно смещаются при наличии тяжёлых «хвостов» и шума. Широко применяется в SVM, логистической регрессии и нейронных сетях. Робастное масштабирование Робастное масштабирование (Robust Scaling): Альтернатива Z-score, устойчивая к выбросам. Вместо среднего используется медиана, а вместо стандартного отклонения — межквартильный размах ():

Нелинейные функциональные трансформации (Transformations) Используются в тех случаях, когда исходное распределение обладает высокой асимметрией, и его необходимо искусственно приблизить к нормальному (гауссовскому) виду для стабилизации дисперсии.

Логарифмическое масштабирование (Log Scaling): Замена каждого значения его логарифмом. Метод эффективен для сжатия экспоненциально растянутых «хвостов» (доходы населения, объёмы трафика): (смещение на 1 позволяет корректно обрабатывать нулевые значения). Преобразование Бокса-Кокса (Box-Cox): Параметрическое степенное преобразование, автоматически подбирающее оптимальный коэффициент нормализации распределения: . Строго ограничено только положительными данными (). Преобразование Йео-Джонсона (Yeo-Johnson): Модификация метода Бокса-Кокса, расширяющая математический аппарат на любые вещественные числа, включая нулевые и отрицательные значения.

Адаптивное мультиинтервальное шкалирование Представляет собой класс современных методов динамической нормализации, при которых шкала трансформации не является жёстко фиксированной функцией, а гибко подстраивается под локальную геометрию и плотность конкретного набора данных.

Адаптивная мультиинтервальная шкала (AMIS — Adaptive Multi-Interval Scale): Метод кусочно-линейной трансформации, разработанный для построения единого сопоставимого интервального измерительного пространства при работе с разнородными или асимметричными массивами данных. Алгоритм осуществляет иерархическое фракционирование распределения и рассчитывает систему контрольных точек как локальные центры масс внутри выделенных интервалов. На основе этих узлов строится адаптивная функция, отображающая данные на инвариантную шкалу (0 - 100 баллов). Это позволяет нивелировать влияние аномальных выбросов и математически корректно проводить операции агрегирования (нахождение весов, усреднение) между изначально несопоставимыми метриками.

Математический аппарат метода AMIS Пусть задан исходный одномерный массив значений числового признака . Задача метода AMIS заключается в нелинейном отображении каждого значения в значение на инвариантной интервальной шкале, где (как правило, ).

Построение адаптивной шкалы выполняется в три последовательных этапа:

Фракционирование и определение узлов (интервалов): Исходное упорядоченное множество данных разбивается на последовательных интервалов. Внутри каждого интервала рассчитывается локальный центр масс — частичное математическое ожидание (среднее арифметическое значение элементов, попавших в данный интервал):

где — -й интервал, а — количество элементов в нём. В результате формируется упорядоченный набор базовых контрольных точек на исходной оси :

Фиксация целевых маркеров: На инвариантной целевой шкале жёстко задаётся эквидистантный (равноудалённый) набор целевых маркеров , соответствующих контрольным точкам , где , а . Кусочно-линейное проецирование: Для каждого значения , находящегося в промежутке между двумя соседними контрольными точками и из множества , итоговое трансформированное значение рассчитывается по формуле локальной линейной интерполяции:

где величина выполняет роль локального адаптивного коэффициента масштабирования (углового коэффициента) для конкретного интервала.

Метод развивает идеи адаптивных и робастных методов нормализации, основанных на предварительной кластеризации и нелинейных преобразованиях.

Непараметрическое и квантильное преобразование Данные методы полностью уничтожают исходные расстояния между физическими величинами, переводя анализ из метрического пространства в порядковое (ординальное). Квантильное преобразование (Quantile Transformer / Rank Scaling): Метод, который на основе расчёта перцентилей принудительно отображает исходное распределение на заданное теоретическое распределение (равномерное или нормальное). Клиппинг (Clipping / Winsorization): Искусственное ограничение выборки, при котором все значения, выходящие за пределы установленных порогов (например, ниже 1-го и выше 99-го перцентилей), принудительно приравниваются к значениям этих порогов.

Нормализация единичного вектора (Unit Vector Normalization) Каждая точка данных рассматривается как вектор и делится на свою норму, так что . Может использоваться любая норма, но чаще всего — нормы L1 и L2. Например, для Lp-нормированная версия имеет вид:

Сравнительный анализ методов масштабирования

Выбор метода масштабирования критически зависит от структуры данных, наличия аномалий и требований целевого алгоритма анализа.

Категория метода Название метода Математическая формула Чувствительность к выбросам Рекомендуемая область применения Линейные Min-Max Scaling Экстремально высокая Нейронные сети, алгоритмы k-NN, обработка изображений Линейные Decimal Scaling Высокая Предварительная предобработка числовых полей в СУБД Статистические Z-score Standardization Высокая Метод главных компонент (PCA), линейная и логистическая регрессия Статистические Robust Scaling Низкая Кластеризация и классификация данных с высоким уровнем шума Нелинейные Log Transformation Низкая Анализ доходов, финансовых временных рядов, экспоненциальных процессов Нелинейные Box-Cox Transformation Средняя Подготовка асимметричных данных для параметрических тестов Адаптивные AMIS Устойчив к выбросам (изолирует их в отдельные интервалы) Построение единого сопоставимого интервального пространства для качественно разнородных и асимметричных данных; агрегирование несопоставимых метрик Непараметрические Quantile Transformer Полностью отсутствует Работа со сложными многомодальными распределениями в нелинейных моделях Непараметрические Clipping (Winsorization) Полностью отсутствует (уничтожает выбросы) Борьба со сбоями датчиков и экстремальными артефактами измерения

См. также Нормализация (машинное обучение) Нормализация (статистика) Стандартная оценка Шкала

Примечания

Литература

Ссылки Lecture by Andrew Ng on feature scaling

Категория:Машинное обучение Категория:Статистика