У машинному навчанні дифузійні моделі, також відомі як ймовірнісні моделі дифузії, є класом моделей прихованих змінних. Це ланцюги Маркова, навчені за допомогою варіаційного висновку. Метою дифузійних моделей є вивчення латентної структури набору даних шляхом моделювання того, як точки даних розсіюються в латентному просторі. У комп'ютерному зорі це означає, що нейронна мережа навчається зашумлювати зображення, розмиті гаусовим шумом, шляхом навчання зворотному процесу дифузії. Три приклади загальних структур моделювання дифузії, що використовуються в комп'ютерному зорі, це імовірнісні моделі дифузії з усуненням шуму, мережі балів з умовою шуму та стохастичні диференціальні рівняння.

Дифузійні моделі були представлені у 2015 році мотивуючись нелінійною термодинамікою.

Дифузійні моделі можуть бути застосовані до різноманітних завдань, зокрема для усунення шумів зображення, розфарбовування, суперроздільності та генерації зображень. Наприклад, модель генерації зображення починається з зображення випадкового шуму, а потім, після навчання реверсу процесу дифузії на природних зображеннях, модель зможе генерувати нові природні зображення. Анонсована 13 квітня 2022 року модель DALL-E 2 OpenAI для перетворення тексту в зображення є недавнім прикладом. Він використовує дифузійні моделі як для попередньої моделі (яка створює вбудовування зображення з текстовим підписом), так і для декодера, який генерує остаточне зображення.

Математичні принципи

Створення зображення в просторі всіх зображень Розглянемо задачу генерації зображень. Нехай 𝑥 — зображення, а 𝑝(𝑥) — розподіл ймовірності над усіма можливими зображеннями. Якщо у нас є саме 𝑝(𝑥), то ми можемо точно сказати, наскільки ймовірним є певне зображення. Однак, в загальному випадку це нерозв'язна задача.

Найчастіше ми не зацікавлені в тому, щоб знати абсолютну ймовірність того, що певне зображення є — коли, якщо взагалі, нас цікавить, наскільки ймовірним є зображення в просторі всіх можливих зображень? Замість цього ми зазвичай лише зацікавлені в тому, наскільки вірогідним є певне зображення порівняно з його безпосередніми сусідами — наскільки імовірніший це зображення кота порівняно з деякими його невеликими варіантами? Чи більш імовірно, якщо зображення містить два вуса, або три, або з додаванням шуму Гауса?

Отже, нас насправді зовсім не цікавить сам ⁣, а радше, . Це забезпечує два ефекти

По-перше, нам більше не потрібно нормалізувати , але ми можемо використовувати будь-який , де це будь-яка невідома константа, яка нас не цікавить. По-друге, ми порівнюємо сусідів , за

Нехай функція оцінки є , розглянемо, що ми можемо зробити з .

Як виявляється, дозволяє нам брати зразки з використовуючи стохастичну градієнтну динаміку Ланжевена, яка, по суті, є нескінченно малою версією ланцюга Маркова Монте-Карло.

Вивчення функції оцінки Функцію оцінки можна дізнатися за допомогою шумозаглушення.

Модель дифузії з усуненням шуму Нерівноважна термодинаміка Дифузійні моделі було представлено 2015 року як спосіб навчання моделі, здатної генерувати вибірки зі складного розподілу ймовірностей. Їхня ідея використовує методи нерівноважної статистичної фізики, зокрема дифузію.

Для прикладу розгляньмо моделювання розподілу всіх природних фотографій. Кожне зображення є точкою у просторі всіх зображень, а розподіл природних фотографій утворює в цьому просторі «хмару». Якщо багаторазово додавати до зображень шум, ця хмара поширюється на решту простору зображень, доки майже не стане невідмінною від нормального розподілу .

Модель, яка здатна приблизно обернути дифузію, може використовуватися для генерування вибірок початкового розподілу. Це вивчають у межах нерівноважної термодинаміки, оскільки початковий розподіл не перебуває в рівновазі, на відміну від кінцевого. Рівноважним розподілом є нормальний розподіл з густиною ймовірності

Це є розподіл Максвелла—Больцмана частинок у потенціальній ямі

за температури 1. Початковий розподіл, перебуваючи далеко від рівноваги, прямує до рівноважного, здійснюючи зміщені випадкові кроки, що є сумою чистої випадковості та градієнтного спуску в потенціальній ямі. Випадковість необхідна: якби частинки рухалися лише градієнтним спуском, усі вони впали б у початок координат, і розподіл згорнувся б у точку.

Імовірнісна модель дифузії з усуненням шуму (DDPM) У статті 2020 року запропоновано імовірнісну модель дифузії з усуненням шуму (DDPM), яка вдосконалює попередній метод використанням варіаційного висновку.

Прямий процес дифузії Для опису моделі використаймо такі позначення: — параметри розкладу дисперсій, , та . Позначення означає нормальний розподіл із математичним сподіванням та дисперсією , а вертикальна риска позначає умовний розподіл.

Прямий процес дифузії починається з точки , де — розподіл імовірностей, який потрібно вивчити, а потім багаторазово додає до неї шум:

де — незалежні однаково розподілені вибірки з . Коефіцієнти і забезпечують , якщо .

Значення добирають так, щоб для будь-якого початкового розподілу із кінцевим другим моментом умовний розподіл при збільшенні збігався з . Увесь процес дифузії є ланцюгом Маркова:

де кожен перехід є нормальним розподілом із середнім і дисперсією .

За умови послідовність є гаусовим процесом, що дає змогу застосовувати репараметризацію. Зокрема,

Для великих цей розподіл збігається з . Отже, після достатньо тривалого процесу отримують , близьке до , у якому втрачено всі ознаки початкового . Замкнена форма цього розподілу дає змогу одержати вибірку безпосередньо за один крок, не обчислюючи всі проміжні стани.

Основні варіанти

Керівництво класифікатора Припустимо, ми хочемо взяти вибірку не з усього розподілу зображень, а залежно від опису зображення. Ми не хочемо взяти зразок загального зображення, а зображення, яке відповідає опису «чорний кіт з червоними очима». Як правило, ми хочемо взяти вибірку з розподілу , де діапазони зображень , і діапазони по класах зображень (опис «чорний кіт з червоними очима» — це лише дуже детальний клас, а клас «кіт» — це лише дуже розпливчастий опис).

Розглянувши модель шумового каналу, ми можемо зрозуміти процес таким чином: створити зображення умовний за описом , ми припускаємо, що запитувач дійсно мав на увазі зображення , але зображення проходить через шумовий канал і виходить спотвореним, як . Таким чином, генерація зображення є нічим іншим, як висновком про те, що є що запитувач мав на увазі.

Іншими словами, генерація умовного зображення — це просто «переклад з мови тексту на мову зображення». Потім, як і в моделі шумового каналу, ми використовуємо теорему Баєса, щоб отриматиІншими словами, якщо у нас є хороша модель простору всіх зображень і хороший перекладач зображення-класу, ми отримуємо перекладач класу-зображення «безкоштовно». SGLD використовуєде це функція оцінки, навчена, як описано раніше, і знайдено за допомогою класифікатора диференційованого зображення.

З температурою Зразки моделі дифузії, керованої класифікатором , яка зосереджена навколо максимальної апостеріорної оцінки . Якщо ми хочемо змусити модель рухатися до оцінки максимальної ймовірності , ми можемо використовуватиде інтерпретується як зворотна температура. У контексті дифузійних моделей її зазвичай називають керівною шкалою. Високий змусить модель брати вибірку з розподілу, зосередженого навколо . Це часто покращує якість створених зображень. Це можна зробити просто за допомогою SGLD

Керівництво без класифікатора Якщо у нас немає класифікатора , ми все одно можемо витягти один із самої моделі зображення:Таку модель зазвичай тренують, пред'являючи її обома і , що дає змогу моделювати обидва і .

Це невід'ємна частина таких систем, як GLIDE, DALL-E і Google Imagen.

Див. також

Процес дифузії Ланцюг Маркова Variational Bayesian methods Варіаційний автокодувальник

Список літератури