Завісні втрати () у машинному навчанні — це функція втрат, яка використовується для навчання класифікаторів. Завісні втрати використовують для максимальної розділової класифікації, здебільшого для опорних векторних машин (ОВМ). Для поміченого виходу та оцінки класифікатора , завісна втрата передбачення визначається як
Варто зауважити, що тут є «сирим» значенням функції прийняття рішення у класифікаторі, а не міткою класу. Наприклад, в лінійних ОВМ , де є параметрами гіперплощини та — точка, яку потрібно класифікувати.
Зрозуміло, що коли та мають однаковий знак (що означає, що вказує на правильний клас) та , тоді завісні втрати , а коли вони мають різні знаки, то зростає лінійно від (одностороння помилка). На рисунку пояснюється, чому завісні втрати дають кращу оцінку втрат ніж функція нуль-один.
Узагальнення
Хоч є поширеною практикою узагальнення бінарних ОВМ на ОВМ у режимі один з усіх або один в один, також можливе узагальнення з використанням завісної функції. Було запропоновано декілька різних багатокласових завісних втрат. Наприклад, Крамер та Сінгер дали таке визначення у випадку лінійного класифікатора:
Тут — мітка цілі, та — параметри моделі.
Вестон і Воткінс дали подібне визначення, але з сумою замість максимуму:
При структуровому передбачуванні завісні втрати можуть бути поширені на структуровані вихідні простори. з масштабуванням розділення використовує наступний варіант, де позначає параметри ОВМ, — передбачення ОВМ, додає функцію ознак та є відстанню Геммінга:
Оптимізація Завісні втрати є опуклою функцією, отже, опуклі оптимізатори, що використовуються у машинному навчанні, можуть працювати з ними. Це не диференційовна функція, проте вона має субградієнт відносно параметрів моделі лінійної ОВМ з функцією оцінки , який буде
Однак, оскільки похідна завісних втрат при невизначена, то гладкий варіант, запропонований Ренні та Сребро, є більш бажаним для оптимізації
або квадратично гладкий
запропонований Чангом. Модифікований варіант є спеціальним випадком цієї функції втрат з , зокрема, .
Примітки