Спектральний аналіз методом найменших квадратів () — клас методів оцінки частотного спектру шляхом підгонки синусоїд до даних за допомогою методу найменших квадратів. На відміну від аналізу Фур'є, найпоширенішого в науці спектрального методу, для використання LSSA дані не обов'язково повинні бути рівномірно розподілені. Крім того, хоча аналіз Фур'є зазвичай підсилює довгоперіодний шум у довгих наборах даних або наборах даних з розривами, LSSA зменшує такі проблеми.

Перший метод LSSA, що жорстко ґрунтувався на методі найменших квадратів, розробив 1969 року і 1971 року Петр Ванічек, нині він відомий як метод Ванічека або метод Гаусса—Ванічека — на честь його Петра Ванічека та Карла Фрідріха Гаусса, творця методу найменших квадратів для мінімізації похибок. Широко відомим варіантом LSSA є метод Ломба або періодограма Ломба—Скаргла, заснована на обчислювальних спрощеннях методу Ванічека, запропонованих у 1970-х і 1980-х роках спочатку Ніколасом Ломбом, а згодом Джеффрі Скарглом. Пізніше розробили й інші варіанти LSSA.

Історичне підґрунтя

Тісний зв'язок між аналізом Фур'є, періодограмою та апроксимацією синусоїд методом найменших квадратів відомий уже давно. Однак більшість розробок стосувалися повних наборів даних із рівномірно розташованими відліками. У 1963 році Фрек Барнінг з Mathematisch Centrum в Амстердамі застосував подібні методи до нерівномірно розташованих даних, зокрема аналіз періодограми, еквівалентний тому, що нині називають методом Ломба, а також апроксимацію методом найменших квадратів для вибраних частот синусоїд, визначених із таких періодограм. Обидва підходи він поєднав процедурою, відомою сьогодні як із подальшою повторною апроксимацією () або ортогональним узгоджене переслідуванняY. C. Pati, R. Rezaiifar, and P. S. Krishnaprasad, «Orthogonal matching pursuit: Recursive function approximation with applications to wavelet decomposition,» in Proc. 27th Asilomar Conference on Signals, Systems and Computers, A. Singh, ed., Los Alamitos, CA, USA, IEEE Computer Society Press, 1993.

Петр Ванічек, канадський геофізик і геодезист, 1969 року також запропонував підхід matching pursuit для рівномірно й нерівномірно розташованих даних, який назвав «послідовним спектральним аналізом» (), а його результат — «періодограмою найменших квадратів» (). У 1971 році він узагальнив цей метод, щоб ураховувати будь-які систематичні складові, окрім простого середнього значення, наприклад «передбачений лінійний (квадратичний, експоненційний, …) віковий тренд невідомої величини», і застосував його до різноманітних вибірок.

Згодом 1976 року суворий метод найменших квадратів Ванічека спростив Ніколас Ломб з Сіднейського університету, який звернув увагу на його тісний зв'язок з аналізом періодограм Згодом визначення періодограми для нерівномірно розташованих даних модифікував і проаналізував Джеффрі Скаргл з Дослідницького центру Еймса НАСА, який показав, що після незначних змін вона стає ідентичною формулі Ломба для апроксимації окремих частот синусоїд методом найменших квадратів.

Скаргл зазначає, що його стаття «не вводить нового методу виявлення, а натомість досліджує надійність і ефективність виявлення за допомогою найуживанішого методу — періодограми — у випадку, коли моменти спостережень є нерівномірно розташованими». Далі, порівнюючи апроксимацію синусоїд методом найменших квадратів із аналізом періодограми, він підкреслює, що його стаття «встановлює, очевидно вперше, що (з урахуванням запропонованих модифікацій) ці два методи є точно еквівалентними».

«Numerical Recipes» підсумовують розвиток цього напряму так:

У 1989 році Майкл Коренберг з Університету Квінз у Кінгстоні (Онтаріо) розробив метод «швидкого ортогонального пошуку» (fast orthogonal search) для швидшого знаходження близького до оптимального розкладу спектрів та розв'язання інших задач, подібний до техніки, яка згодом стала відомою як ортогональний matching pursuit.

Розвиток LSSA та його варіантів

Метод Ванічека

У методі Ванічека дискретний набір даних апроксимують зваженою сумою синусоїд із послідовно визначуваними частотами за допомогою стандартної лінійної регресії або методу найменших квадратів.Wells, D.E., P. Vaníček, S. Pagiatakis, 1985. Least-squares spectral analysis revisited. Department of Surveying Engineering Technical Report 84, University of New Brunswick, Fredericton, 68 pages, Available at . Частоти вибирають методом, подібним до підходу Барнінга, але з додатковою оптимізацією кожної нової частоти шляхом вибору тієї частоти, яка мінімізує залишок після апроксимації методом найменших квадратів (еквівалентно техніці, нині відомій як із подальшою повторною апроксимацією, ). Кількість синусоїд має бути меншою або дорівнювати кількості відліків даних (при цьому синус і косинус однієї частоти вважають окремими синусоїдами). Зв'язок між DFT та апроксимацією тригонометричних функцій методом найменших квадратів добре пояснено в роботі Струца (2017)Strutz, T., 2017. Explaining the Discrete Fourier Transform of real signals based on the least-squares approximation of time-discrete signals using trigonometric functions. Technical Report TECHP/2017/11, Leipzig University of Telecommnication, Available at https://doi.org/10.13140/RG.2.2.34597.81126.

Вектор даних Φ подають як зважену суму синусоїдальних базисних функцій, занесених до матриці A шляхом обчислення значень кожної функції в моменти відбору даних, із вектором ваг x:

де вектор ваг x вибирають так, щоб мінімізувати суму квадратів похибок апроксимації Φ. Розв'язок для x має замкнену форму й отримується за допомогою стандартної лінійної регресії:

Тут матриця A може ґрунтуватися на будь-якому наборі взаємно незалежних функцій (не обов'язково ортогональних) у точках вибірки; для спектрального аналізу зазвичай використовують синуси й косинуси, рівномірно розподілені в досліджуваному діапазоні частот. Якщо вибрати надто багато частот у надто вузькому діапазоні, функції будуть недостатньо незалежними, матриця стане погано обумовленою, а отриманий спектр втратить зміст.

Коли базисні функції в A ортогональні (тобто некорельовані, а їхні стовпці мають нульові попарні скалярні добутки), матриця ATA є діагональною; якщо ж усі стовпці мають однакову потужність (суму квадратів елементів), ця матриця дорівнює одиничній матриці, помноженій на сталу, тому її обернення є тривіальним. Саме так відбувається, коли моменти вибірки рівномірно розподілені, а синусоїди вибрані як синуси й косинуси, попарно рівномірно розташовані в інтервалі частот від 0 до половини циклу на відлік (із кроком 1/N циклу на відлік, за винятком синусних складових при нульовій та максимальній частотах, де вони тотожно дорівнюють нулю). Цей випадок відомий як дискретне перетворення Фур'є, дещо переписане через вимірювання та коефіцієнти.

 — випадок DFT для N рівномірно розташованих відліків і частот з точністю до скалярного множника.

Метод Ломба

Намагаючись зменшити обчислювальне навантаження методу Ванічека, 1976 року Ломб запропонував використовувати наведене вище спрощення в загальному випадку, за винятком попарних кореляцій між синусною та косинусною базами однієї частоти, оскільки кореляції між парами синусоїд часто є малими, принаймні якщо їхні частоти не розташовані надто близько одна до одної. Це формулювання фактично відповідає традиційній періодограмі, але пристосоване до нерівномірно розташованих вибірок. Вектор x є досить доброю оцінкою справжнього спектра, але через ігнорування кореляцій вираз Ax уже не є доброю апроксимацією сигналу, а сам метод перестає бути методом найменших квадратів — хоча в літературі його й далі часто так називають.

Замість безпосереднього обчислення скалярних добутків даних із синусними та косинусними функціями Скаргл модифікував стандартну формулу періодограми, спочатку знаходячи часовий зсув , за якого ця пара синусоїд стає взаємно ортогональною в моменти вибірки , а також ураховуючи можливу нерівність потужностей цих двох базисних функцій, щоб отримати кращу оцінку потужності на заданій частоті. Завдяки цій процедурі його модифікований метод періодограми став точно еквівалентним методу Ломба. За означенням часовий зсув дорівнює

Тоді періодограму на частоті оцінюють як

яка, як повідомляє Скаргл, має той самий статистичний розподіл, що й періодограма у випадку рівномірної вибірки.

Для будь-якої окремої частоти цей метод дає ту саму потужність, що й апроксимація методом найменших квадратів синусоїдами тієї самої частоти у вигляді:

На практиці завжди складно оцінити, чи є певний пік у спектрі Ломба статистично значущим, особливо коли природа шуму невідома. Наприклад, хибний спектральний пік у періодограмі Ломба під час аналізу зашумленого періодичного сигналу може виникнути через шум у даних про турбулентність. Методи Фур'є також можуть виявляти хибні спектральні піки під час аналізу даних, які були штучно доповнені або іншим чином відредаговані.

Узагальнена періодограма Ломба—Скаргла Стандартна періодограма Ломба—Скаргла є коректною лише для моделі з нульовим середнім значенням. Зазвичай це наближено забезпечують, віднімаючи середнє значення даних перед обчисленням періодограми. Однак таке припущення є неточним, якщо середнє значення моделі (апроксимувальних синусоїд) не дорівнює нулю. Узагальнена періодограма Ломба—Скаргла усуває це припущення й явно визначає середнє значення. У цьому випадку апроксимувальна функція має вигляд

У літературі узагальнену періодограму Ломба—Скаргла також називають періодограмою з плаваючим середнім ().

Метод «швидкого ортогонального пошуку» Коренберга

Майкл Коренберг з Університету Квінз у Кінгстоні (Онтаріо) розробив метод вибору розрідженого набору компонент із надлишкового набору — наприклад, синусоїдальних компонент для спектрального аналізу, — який назвав методом швидкого ортогонального пошуку (Fast Orthogonal Search, FOS). Математично FOS використовує дещо модифікований розклад Холецького у процесі мінімізації середньоквадратичної похибки (MSER), реалізованому як обернення розрідженої матриці. Як і інші методи LSSA, FOS уникає головного недоліку дискретного аналізу Фур'є, тому дає змогу точно виявляти приховані періодичності та ефективно працює з нерівномірно розташованими даними. Метод швидкого ортогонального пошуку також застосовували до інших задач, зокрема .

Метод хі-квадрат Палмера

Палмер розробив метод пошуку функції найкращого припасування для довільно вибраної кількості гармонік, що дає більше свободи для виявлення не лише синусоїдальних гармонічних функцій. Це швидкий метод (на основі швидкого перетворення Фур'є) для зваженого аналізу методом найменших квадратів довільно розташованих даних із неоднорідними стандартними похибками. Існує доступний вихідний код, який реалізує цей метод. Оскільки дані часто не відбирають у рівномірно розташовані дискретні моменти часу, цей метод «розбиває» дані на сітку, розріджено заповнюючи масив часового ряду в моменти вимірювань. Усі проміжні вузли сітки отримують нульову статистичну вагу, що еквівалентно нескінченно великим похибкам у моменти між вимірюваннями.

Застосування

Найкориснішою властивістю LSSA є можливість виконувати спектральний аналіз неповних записів без потреби модифікувати дані або вигадувати відсутні значення.