Масштабопросторо́ве сегментува́ння () або багатомасшта́бне сегментува́ння () — це загальна система для сегментування сигналів та зображень, яка ґрунтується на обчисленні описувачів зображення в кількох масштабах згладжування.

Одновимірне ієрархічне сегментування сигналу

Засаднича робота Віткіна в просторах масштабівWitkin, A. P. "Scale-space filtering", Proc. 8th Int. Joint Conf. Art. Intell., Karlsruhe, Germany,1019--1022, 1983. A. Witkin, "Scale-space filtering: A new approach to multi-scale description," in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (), vol. 9, San Diego, CA, Mar. 1984, pp. 150--153. містила ідею про те, що одновимірний сигнал можливо однозначно сегментувати на області, з одним параметром масштабу для контролю масштабу сегментування.

Ключове спостереження полягає в тому, що перетини нуля другими похідними (мінімуми та максимуми першої похідної, або нахилу) багатомасштабно згладжених версій сигналу утворюють дерево вкладеності, яке визначає ієрархічні відносини між сегментами в різних масштабах. Зокрема, екстремуми нахилу в грубих масштабах можливо простежувати до відповідних ознак у тонких масштабах. Коли максимум нахилу та мінімум нахилу знищують один одного на більшому масштабі, три розділені ними сегменти зливаються в один сегмент, відтак визначаючи ієрархію сегментів.

Сегментування зображень та первинний ескіз

У цій галузі було багато дослідницьких праць, деякі з яких досягли такого стану, коли їх можливо застосовувати або за допомогою інтерактивного ручного втручання (зазвичай із застосуванням до медичного унаочнювання), або повністю автоматично. Нижче наведено короткий огляд деяких основних дослідницьких ідей, на яких ґрунтуються сучасні підходи.

Втім, структура вкладеності, описана Віткіним, специфічна для одновимірних сигналів, і не передається тривіально на зображення більшої вимірності. Менше з тим, ця загальна ідея надихнула декількох інших авторів дослідити грубо—тонкі схеми для сегментування зображень. КоендерінкKoenderink, Jan "The structure of images ", Biological Cybernetics, 50:363--370, 1984 запропонував досліджувати, як контури ізояскравості змінюються з масштабом, і цей підхід було досліджено докладніше Ліфшицем і Пайзером.Lifshitz, L. and Pizer, S.: A multiresolution hierarchical approach to image segmentation based on intensity extrema, IEEE Transactions on Pattern Analysis and Machine Intelligence, 12:6, 529 - 540, 1990. Проте, на жаль, яскравість ознак зображень змінюється з масштабом, що означає, що важко відстежити ознаки зображення грубого масштабу до тонших масштабів, використовуючи інформацію про ізояскравість.

ЛіндебергLindeberg, T.: Detecting salient blob-like image structures and their scales with a scale-space primal sketch: A method for focus-of-attention, International Journal of Computer Vision, 11(3), 283--318, 1993. досліджував задачу зв'язування локальних екстремумів та сідлових точок над масштабами, й запропонував подання зображення, назване масштабопросторовим первинним ескізом (), яке робить явними відношення між структурами в різних масштабах, а також уточнює, які ознаки зображення є стабільними протягом великих діапазонів масштабів, включно з локально відповідними масштабами для них. БерґгольмBergholm, F: Edge focusing, IEEE Transactions on Pattern Analysis and Machine Intelligence, 9:6, pages 726 - 741, 1987. запропонував виявляти контури на грубих масштабах простору масштабів, а потім простежувати їх до тонших масштабів з ручним вибором як масштабу грубого виявляння, так і масштабу тонкого визначення розташування.

Ґаух та Пайзер Gauch, J. and Pizer, S.: Multiresolution analysis of ridges and valleys in grey-scale images, IEEE Transactions on Pattern Analysis and Machine Intelligence, 15:6 (June 1993), pages: 635 - 646, 1993. досліджували доповняльну задачу хребтів та долин у багатьох масштабах, і розробили інструмент для інтерактивного сегментування зображень на основі багатомасштабних (). Використання багатомасштабного вододілу із застосуванням до градієнтної карти також було досліджено Олсеном та Нільсеном,Olsen, O. and Nielsen, M.: Multi-scale gradient magnitude watershed segmentation , Proc. of ICIAP 97, Florence, Italy, Lecture Notes in Computer Science, pages 6–13. Springer Verlag, September 1997. і було перенесено до клінічного використання Демом зі співавт.Dam, E., Johansen, P., Olsen, O. Thomsen,, A. Darvann, T. , Dobrzenieck, A., Hermann, N., Kitai, N., Kreiborg, S., Larsen, P., Nielsen, M.: "Interactive multi-scale segmentation in clinical use" in European Congress of Radiology 2000. Вінкен зі співавт.Vincken, K., Koster, A. and Viergever, M.: , IEEE Transactions on Pattern Analysis and Machine Intelligence, 19:2, pp. 109-120, 1997.] запропонували гіперстек для визначення ймовірнісних зв'язків між структурами зображень у різних масштабах. Ахуджа та його співробітникиM. Tabb and N. Ahuja, Unsupervised multiscale image segmentation by integrated edge and region detection, IEEE Transactions on Image Processing, Vol. 6, No. 5, 642-655, 1997. E. Akbas and N. Ahuja, "From Ramp Discontinuities to Segmentation Tree", Asian Conference on Computer Vision, 2009, Xi'an, China. розширили використання стабільних структур зображень над масштабами до повністю автоматизованої системи. Повністю автоматичний алгоритм сегментування мозку, заснований на тісно пов'язаних ідеях багатомасштабних вододілів, було запропоновано Ундеманом та Ліндебергом,C. Undeman and T. Lindeberg (2003) "Fully Automatic Segmentation of MRI Brain Images using Probabilistic Anisotropic Diffusion and Multi-Scale Watersheds", Proc. Scale-Space'03, Isle of Skye, Scotland, Springer Lecture Notes in Computer Science, volume 2695, pages 641--656. і було ретельно перевірено на базах даних мозку.

Ці ідеї для багатомасштабного сегментування зображень шляхом зв’язування структур зображення над масштабами також підхопили Флорак і Куйпер.Florack, L. and Kuijper, A.: The topological structure of scale-space images , Journal of Mathematical Imaging and Vision, 12:1, 65-79, 2000. Біжауї та РуеBijaoui, A., Rué, F.: 1995, A Multiscale Vision Model, Signal Processing 46, 345 пов'язують структури, виявлені в просторі масштабів вище мінімального шумового порогу, в дерево об'єктів, яке охоплює декілька масштабів і відповідає свого роду ознаці у первинному сигналі. Виділені ознаки точно відновлюються за допомогою ітераційного методу матриці спряжених градієнтів.

Сегментування векторних функцій часу

Масштабопросторове сегментування було розширено ЛіономRichard F. Lyon. "Speech recognition in scale space," Proc. of 1987 ICASSP. San Diego, March, pp. 29.3.14, 1987. в іншому напрямку, до векторозначних функцій часу, де векторна похідна не має максимумів та мінімумів, а друга похідна не має перетинів нуля, шляхом розміщення меж сегментів натомість на максимумах евклідової величини векторної похідної згладжених векторних сигналів. Цю методику було застосовано для сегментування мовлення та тексту.Slaney, M. Ponceleon, D., "Hierarchical segmentation using latent semantic indexing in scalespace", Proc. Intl. Conf. on Acoustics, Speech, and Signal Processing (ICASSP '01) 2001

Примітки

Див. також

сегментування (обробка зображень) простір масштабів