Стохастическая аппроксимация — рекуррентный метод построения состоятельной последовательности оценок решений уравнений регрессии и экстремумов функций регрессии в задачах непараметрического оценивания. В биологии, химии, медицине используется для анализа результатов опытов. В теории автоматического управления применяется как средство решения задач распознавания, идентификации, обучения и адаптацииЦыпкин Я.З. “Адаптация, обучение и самообучение в автоматических системах”, // Автоматика и телемеханика. — 1966. — № 1. — С. 23–61. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at10991. Основоположниками метода стохастической аппроксимации являются Кифер, ВольфовицКiefer J., Wolfowitz J. Stochastic Estimation of the Maximum of a Regression Function // Ann. Math. Statistics. — 1952. — v. 23. — № 3. , Робинс, Монро Robbins Н., Monro S. A stochastic approximation method // Annals of Math. Stat. — 1951. — v. 22. — № 1. — С. 400—407..
Поиск решения уравнения регрессии
Пусть каждому значению параметра соответствует измеряемая опытным путём случайная величина с функцией распределения , причем математическое ожидание величины при фиксированном параметре . Требуется найти решение уравнения регрессии . Предполагается, что решение уравнения регрессии единственно, а функции и неизвестны.
Процедура стохастической аппроксимации для получения оценок корня уравнения регрессии заключается в использовании полученной на основании опыта обучающей выборки измеряемых случайных величин .
Оценка искомого корня находится на основе предыдущей оценки с помощью обучающего значения измеренной случайной величины с помощью соотношения , где , - произвольное число.
Если последовательность коэффициентов удовлетворяет условиям , , , то при оценка стремится по вероятности к корню уравнения .
При некоторых дополнительных требованиях к функции регрессии оценки могут сходится в среднеквадратическом к решению уравнения регрессии Логинов Н. В. “Методы стохастической аппроксимации” // Автоматика и телемеханика. — 1966. — № 4. — С. 185–204. — ISSN 0005-2310. — URL: http://mi.mathnet.ru/at11080.
Примеры
Твёрдость сплава меди с железом зависит от времени , в течение которого сплав подвергается воздействию высокой температуры. В этом случае измеряемой случайной величиной является твёрдость сплава , а задача состоит в определении времени , при котором сплав имеет заданную твёрдость .
Поиск экстремума функции регрессии
Оценка экстремального значения функции регрессии находится на основе предыдущей оценки и обучающих значений измеренной случайной величины и с помощью соотношения , где , - произвольное число, - последовательность положительных чисел, а последовательности и независимы и соответствуют значениям параметра и .
Если последовательности коэффициентов и удовлетворяют условиям , , при , , , , то при оценка стремится по вероятности к экстремальному значению функции регрессии.
При некоторых дополнительных требованиях к функции регрессии оценки могут сходится в среднеквадратическом к экстремуму функции регрессии.
Примеры
Урожайность участка земли зависит от количества удобрений . В этом случае измеряемой случайной величиной является урожайность , а задача состоит в определении количества удобрений , при котором участок земли имеет макcимальную урожайность.
Примечания
Литература
Категория:Кибернетика Категория:Математическая статистика