Сигмо́ида (также сигмо́ид) — это гладкая монотонная возрастающая нелинейная функция, имеющая форму буквы «S», которая часто применяется для «сглаживания» значений некоторой величины.
Часто под сигмоидой понимают логистическую функцию .
Сигмоида ограничена двумя горизонтальными асимптотами, к которым стремится при стремлении аргумента к . В зависимости от соглашения, этими асимптотами могут быть (в ) либо в и в .
Производная сигмоиды представляет собой колоколообразную кривую с максимумом в нуле, асимптотически стремящуюся к нулю в .
Семейство функций класса сигмоид
В семейство функций класса сигмоид входят такие функции, как арктангенс, гиперболический тангенс и другие функции подобного вида.
Функция Ферми — Дирака (экспоненциальная сигмоида): .
Рациональная сигмоида: .
Арктангенс: .
Гиперболический тангенс: .
Гладкая ступенька N-го порядка: .
Корневая сигмоида: .
Логистическая функция: .
Обобщённая логистическая функция: .
Функция ошибок: .
Функция Гудермана: .
Применение
Нейронные сети Сигмоиды применяются в нейронных сетях в качестве функций активации. Они позволяют нейронам как усиливать слабые сигналы, так и не насыщаться от сильных сигналов.
В нейронных сетях часто используются сигмоиды, производные которых могут быть выражены через саму функцию. Это позволяет существенно сократить вычислительную сложность метода обратного распространения ошибки, сделав его применимым на практике: — для гиперболического тангенса; — для логистической функции.
Логистическая регрессия Логистическая функция используется в решении задач классификации с использованием логистической регрессии. Пусть решается задача классификации с двумя классами ( и , где — переменная, указывающая класс объекта). Делается предположение о том, что вероятность принадлежности объекта к одному из классов выражается через значения признаков этого объекта (действительные числа): , где — некоторые коэффициенты, требующие подбора, обычно, методом наибольшего правдоподобия.
Именно такая функция получается при использовании обобщённой линейной модели и предположения, что зависимая переменная распределена по закону Бернулли.
См. также Искусственная нейронная сеть Перцептрон Модифицированный гиперболический тангенс
Литература
Примечания
Ссылки Сравнение быстроты нескольких программных реализаций гиперболического тангенса
Категория:Нейронные сети Категория:Функции