З комп'ютерної точки зору, сегментація — це процес розділення цифрового на декілька сегментів (множина пікселів, які часто називають суперпікселями). Мета сегментації полягає у спрощенні і/або зміні представлення зображення для полегшення його аналізуLinda G. Shapiro and George C. Stockman (2001): «Computer Vision», pp 279–325, New Jersey, Prentice-Hall, ISBN 0-13-030796-3 або передачі каналами зв'язку. Сегментацію зображень зазвичай використовують для виділення об'єктів та меж (лінії, криві, і т. д.) на зображеннях. Точніше, сегментація зображень — це процес присвоєння таких міток кожному пікселю зображення, що пікселі з однаковими мітками мають спільні візуальні характеристики.
Результатом сегментації зображення є множина сегментів, які разом покривають все зображення, або множина контурів, виділених з зображення. Всі пікселі в сегменті схожі за деякою характеристикою або за визначеною властивістю, наприклад колір, яскравість або текстура. Сусідні сегменти істотно відрізняються за цими характеристиками.
Застосування
Деякими практичними застосуваннями сегментації зображень є:
Медичні зображенняDzung L. Pham, Chenyang Xu, and Jerry L. Prince (2000): «Current Methods in Medical Image Segmentation», Annual Review of Biomedical Engineering, volume 2, pp 315–337 Виявлення пухлин та інших патологій Визначення обсягів тканин Хірургія за допомогою комп'ютера Діагностика Планування лікування Вивчення анатомічної структури Виділення об'єктів на супутникових світлинах Розпізнавання облич Розпізнавання відбитків пальців Системи управління дорожнім рухом Виявлення стоп-сигналів Комп'ютерний зір Розпаралелювання інформаційних потоків при передачі зображень надвисокого розрізнення Відеоспостереження
Для сегментації зображень було розроблено декілька універсальних алгоритмів і методів. Так як загального рішення для задачі сегментації зображень не існує, часто ці методи доводиться поєднувати зі знаннями з предметної області, щоб ефективно вирішувати цю задачу в її предметній області.
Визначення порогів Найпростішим методом сегментування є метод визначення порогів. Даний метод базується на деякому рівні відсікання (пороговому значенні) для перетворення зображення в градаціях чорного в бінаризоване зображення.
Головною особливістю даного підходу є вибір порогового значення (або значень у випадку вибору кількох рівнів). В промисловості знаходять застосування кілька відомих методів знаходження порогів включаючи метод максимальної ентропії, Отсу (максимального відхилення) а також кластеризацію методом к-середніх.
Відносно недавно було розроблено методи порогового опрацювання зображень комп'ютерної томографії. Ключовою відмінністю даних методів від підходу запропонованого Отсу є те, що пороги одержують з радіограм на відміну від вже сформованих на їх основі зображень.
В нових методах запропоновано використовувати багатовимірні нечіткі базовані на правилах нелінійні пороги. В даних роботах рішення про належність кожного пікселя зображення до сегмента формується на основі багатовимірних правилах одержаних з використанням нечіткої логіки та еволюційних алгоритмів базованих на освітленості зображення а також меті його використання.
Методи, засновані на кластеризації
Кластеризація методом к–середніх — це ітераційний метод, який використовується для того, щоб розділити зображення на K кластерів. Базовий алгоритм наведений нижче:
Вибрати K центрів кластерів, випадково або на основі деякої евристики Помістити кожен піксель зображення в кластер, центр якого найближче до цього пікселя Знову визначити центри кластерів, усереднюючи всі пікселі в кластері Повторювати кроки 2 і 3 до збіжності (наприклад, коли пікселі будуть залишатися в тому ж кластері)
Тут за відстань зазвичай береться сума квадратів або абсолютних значень різниць між пікселем і центром кластера. Різниця зазвичай базується на кольорі, яскравості, текстурі і місце знаходження пікселя, або на зваженій сумі цих чинників. K може бути вибране вручну, випадково чи евристично.
Цей алгоритм гарантовано сходиться, але він може не привести до оптимального рішення. Якість рішення залежить від початкової множини кластерів і значення K.
Сегментація за рухом Сегментація за рухом використовує зміни між послідовними кадрами для відокремлення рухомих об'єктів від фону. Найпростіший підхід полягає у відніманні двох кадрів і подальшому визначенні ділянок, у яких різниця перевищує заданий поріг. Такий метод добре працює для нерухомої камери й достатнього контрасту між рухомим об'єктом і фоном. Зміни освітлення, шум сенсора та рух самої камери можуть створювати хибні області. Для стабільнішого результату використовують модель фону, часову фільтрацію або оцінювання оптичного потоку. Якщо камера рухається, перед сегментацією можна оцінити й компенсувати її глобальний рух. Інтерактивна сегментація доповнює автоматичний аналіз інформацією, отриманою внаслідок взаємодії з об'єктом. Наприклад, робот може злегка змістити предмет, щоб створити сигнал руху й відокремити його від нерухомого оточення. Такий підхід належить до інтерактивного сприйняття, у якому система активно змінює сцену для зменшення неоднозначності. Окремим різновидом є сегментація жорсткого руху, що групує точки зображення за спільною моделлю переміщення.
Методи, засновані на стисненні В методах заснованих на стисненні стверджується, що оптимальною сегментацією серед усіх можливих є та, котра використовує найменший об'єм даних для кодування результуючого зображення.Shankar Rao, Hossein Mobahi, Allen Yang, Shankar Sastry and Yi Ma Natural Image Segmentation with Adaptive Texture and Boundary Encoding , Proceedings of the Asian Conference on Computer Vision (ACCV) 2009, H. Zha, R.-i. Taniguchi, and S. Maybank (Eds.), Part I, LNCS 5994, pp. 135—146, Springer. Зв'язок між сегментацією та стисненням пояснюється тим, що сегментація намагається знайти шаблони в зображенні, а будь-який взаємозв'язок в зображенні може бути використаний для його стиснення. Підхід описує кожен сегмент за його текстурою і формою контуру. Кожна складова сегмента моделюється формулою ймовірнісного розподілу, а об'єм даних для кодування обчислюється таким чином: Кодування контурів ґрунтується на припущення, що області на звичайних зображень мають гладкий контур. Це припущення використовується в кодуванні Хаффмана для закодовування диференціального коду ланцюга контурів на зображенні. Так, наскільки контур гладкіший, на стільки ж він займає менше місця. Текстура кодується за допомогою стиснення з втратами, шляхом схожим до принципу мінімально допустимої довжини опису, але тут об'єм даних для моделі є апроксимованим кількістю вибірок ентропії моделі. Текстура в кожній області моделюється багатовимірним нормальним розподілом, ентропія котрого найбільш схожа з представленням. Цікавою властивістю даної моделі є те, що в межах оціночної ентропії міститься значення ентропії реальних даних текстури. Це тому, що серед усіх наявних функцій розподілу з відомими значеннями середнього арифметичного та кореляційного моменту, нормальний розподіл має найбільшу ентропію. З цього виходить, що реальний об'єм закодованих даних не може бути більшим ніж запропонований алгоритмом. Для довільної сегментації дана схема обчислює кількість біт, потрібну для кодування зображення з використанням обраної сегментації. Так, серед всіх можливих сегментацій зображення, потрібно знайти сегментацію, яка представляється закодованими даними найменшої довжини. Це можна досягнути з використанням методів ієрархічної кластеризації. Спотворення в стисненні з втратами визначає похибку сегментування і її оптимальне значення може відрізнятись для окремих зображень. Цей параметр може бути оцінено евристично за показниками контрасту текстур на зображенні.
Методи з використанням гістограми
Методи з використанням гістограми дуже ефективні порівняно з іншими методами сегментації оскільки вони вимагають тільки один прохід по пікселях. У цьому методі гістограма обчислюється за всіма пікселям зображення і її мінімуми і максимуми використовуються, щоб знайти кластери на зображенні. Колір або яскравість можуть бути використані при порівнянні.
Покращення цього методу — рекурсивно застосовувати його до кластерів на зображенні для того, щоб поділити їх на дрібніші кластери. Процес повторюється з усе меншими і меншими кластерами до тих пір, коли перестануть з'являтися нові кластери.Ron Ohlander, Keith Price, and D. Raj Reddy (1978): «Picture Segmentation Using a Recursive Region Splitting Method», Computer Graphics and Image Processing, volume 8, pp 313–333
Один недолік цього методу — те, що йому може бути важко знайти значні мінімуми і максимуми на зображенні. У цьому методі класифікації зображень схожі метрика відстаней і зіставлення інтегрованих регіонів.
Підходи, засновані на використанні гістограм можна також швидко адаптувати для кількох кадрів, зберігаючи їх переваги в швидкості за рахунок одного проходу. Гістограма може бути побудована кількома способами, коли розглядаються декілька кадрів. Той самий підхід, який використовується для одного кадру, також може застосовуватися для декількох. Тобто, після об'єднання результатів всі мінімуми і максимуми, які було складно виділити на окремих кадрах, стають помітніші. Гістограматакож може бути застосована для кожного пікселя, де інформація використовується для визначення найчастішого кольору для даного положення пікселя. Цей підхід використовує сегментацію, засновану на рухомих об'єктах і нерухомому оточенні, що дає інший вид сегментації, корисний у відео трекінгу.
Виділення країв
Виявлення контурів — це добре вивчена область в обробці зображень. Межі та краї областей сильно пов'язані, оскільки часто існує сильний перепад яскравості на кордонах областей. Тому методи виділення країв використовуються як основа для іншого методу сегментації.
Виявлені краю часто бувають розірваними. Але щоб виділити об'єкт на зображенні, потрібні замкнуті межі області.
Методи розростання областей
Першим був метод розростання областей з "насіння". Як вхідні дані цей метод приймає зображення і набір "насіння". Насіння визначають об'єкти, які потрібно виділити. Області поступово розростаються, порівнюючи всі незайняті сусідні пікселі з областю. Різниця між яскравістю пікселя і середньою яскравістю області використовується як міра схожості. Піксель з найменшою такою різницею додається у відповідну область. Процес триває доти, доки всі пікселі не будуть додані в один з регіонів.
Метод розростання областей з "насіння" вимагає додаткового введення. Результат залежить від вибору "насіння". Шум на зображенні може призвести до погано розміщення "насіння". Метод розростання областей без використання "насіння"— це змінений алгоритм, який не вимагає явного "насіння". Він починає з однієї області — піксель, обраний тут незначно впливає на кінцеву сегментацію. На кожній ітерації він розглядає сусідні пікселі так само, як метод розростання областей з використанням "насіння". Але він відрізняється тим, що якщо мінімальна не менша, чим заданий поріг , то він додається у відповідну область . В іншому випадку піксель вважається таким, що сильно відрізняється від всіх поточних областей і створюється нова область , яка містить цей піксель.
Один з варіантів цього методу, запропонований Хараліком і Шапіро (1985), заснований на використанні яскравості пікселів. Середнє арифметичне, дисперсія області та яскравість пікселя-кандидата використовується для побудови тестової статистики. Якщо тестова статистика достатньо мала, то піксель додається до області і середнє арифметичне та дисперсія області перераховується знову. Інакше, піксель ігнорується і використовується для створення нової області.
Методи, засновані на диференціальних рівняннях з частинними похідними