Теорема Косамбі — Кархунена — Лоева (названа на честь Дамодар Дхармананда Косамбі, та ),, це розклад випадкового процесу у вигляді нескінченної лінійної комбінації ортогональних функцій, що є аналогом представлення функції в ряд Фур'є на обмеженому інтервалі. Цей розклад тісно пов'язаний з методом головних компонент (PCA), який широко використовується в аналізі даних.Karhunen–Loeve transform (KLT) , Computer Image Processing and Analysis (E161) lectures, Harvey Mudd College
Першим хто розглянув розклад випадкового процесу у вигляді нескінченного ряду Дамодаром Дхарманандою Косамбі.. Існує декілька розкладів стохастичного процесу: якщо процес заіндексований над , то будь-який ортонормований базис в задає розклад в цій формі. Важливість теореми Кархунена – Лоева полягає в тому, що вона дає найкращий базис у сенсі мінімізації середньої квадратичної помилки.
На відміну від ряду Фур'є, де коефіцієнти є фіксованими числами і базис складається з синусоїдальних функцій (тобто функцій синуса та косинуса), коефіцієнти в теоремі Кархунена – Лоева є випадковими величинами, а базис розкладання залежить від процесу. Фактично, ортогональні базисні функції, що використовуються в цьому розкладі, визначаються коваріаційною функцією процесу.
У випадку центрованого випадкового процесу (центрований означає для всіх ), що задовольняє умову технічної неперервності, допускає розкладання
де є попарно некорельованими випадковими величинами, а функції є неперервними дійсними функціями на , які є попарно ортогональними в . Загальний випадок процесу , який не є центрованим, можна повернути до випадку центрованого процесу, розглядаючи , який є центрованим процесом.
Крім того, у випадку нормального процесу, випадкові величини є нормально розподіленими і стохастично незалежними. Цей результат узагальнює перетворення Кархунена – Лоева. Важливим прикладом центрованого стохастичного процесу на є процес Вінера; теорема Кархунена – Лоева може бути використана для забезпечення канонічного ортогонального представлення для нього. У цьому випадку розкладання складається з синусоїдальних функцій.
Формулювання
У цій статті ми розглядатимемо квадратично інтегрований випадковий процес із нульовим середнім, визначений у ймовірнісному просторі та проіндексований у замкненому інтервалі з коваріаційною функцією . Таким чином ми маємо:
Пов'яжемо з лінійний оператор визначений таким чином:
Оскільки є лінійним оператором, то має сенс говорити про його власні значення та власні функції , які знаходяться за допомогою розв'язування однорідного інтегрального рівняння Фредгольма другого роду
Формулювання теореми Теорема. Нехай — квадратично інтегрований випадковий процес, визначений у ймовірнісному просторі та проіндексований на інтервалі , з неперервною коваріаційною функцією .
Тоді є ядром Мерсера, і якщо ортонормований базис в утворений власними функціями з відповідними власними значеннями допускає наступне представлення
де збіжність в , рівномірна по t і
Крім того, випадкові величини некорельовані мають нульове середнє та мають дисперсію
Зауважте, що за допомогою узагальнення теореми Мерсера, ми можемо замінити інтервал на будь-який компактний простір і міру Лебега на , носієм якої є .
Доведення
Коваріаційна функція є ядром Мерсера. Згідно з теоремою Мерсера, отже, існує набір , власних значень і власних функцій що утворюють ортонормований базис , і можна розкласти
Процес можна розкласти за власними функціями як:
де коефіцієнти (випадкові величини) є проекціями на відповідні власні функції
Тоді ми можемо отримати
де ми використали факт, що є власними функціями і ортонормовані.
Тепер покажемо, що збіжність відбувається в . Нехай
Тоді:
яка дорівнює 0 за теоремою Мерсера.
Властивості перетворення Кархунена – Лоева
Особливий випадок: розподіл Гауса Оскільки ліміт в середньому спільно гаусівських випадкових величин є спільно гаусівською, а спільно гауссові випадкові (центровані) величини є незалежними, тоді і тільки тоді, коли вони ортогональні, ми також можемо зробити висновок:
Теорема. Змінні мають спільний гаусівський розподіл і є незалежними, якщо процес є гаусівським.
У випадку гаусової випадкової величини, змінні є незалежними, ми можемо сказати більше:
Лінійне наближення Теорема Кархунена — Лоева Розглянемо слас сигналів які ми хочемо наблизити за допомогою базисних векторів. Ці сигнали змодельовані як реалізація випадкових векторів розміром . Для оптимізації апроксимації ми реалізуємо такий базис що зменшить помилку. Ця секція доводить, що найкращий базис це базис Кархунена — Лоева що діагоналізує . Випадковий вектор може бути декомпонований в ортонормальний базис
а саме:
де кожен
це випадкова величина. Наближення перших векторів базису є
Із береження енергії в ортогональному базисі виходить
Це помилка пов'язана з коваріацією визначена як
Для будь-якого вектору ми визначимо коваріаційний оператор визначений за матрицею,
Помилка це сума останніх коефіцієнтів коваріаційного оператору
Коваріаційний оператор Ермітів і позитивний тому він може бути діагоналізований, в ортогональному базисі який називається базис Кархунена — Лоева. Наступна теорема стверджує, що базис Кархунена — Лоева має найменшу посилку апроксимізації.
Theorem (Оптимальність Кархунена — Лоева базису). Нехай коваріаційний оператор. Для всіх , помилка апроксимації
приймає мінімальне значення тоді і тільки тоді
це базис Кархунена — Лоева відсортований по зменшенню власних чисел.
Приклади
Вінерівський процес Існує декілька еквівалентних формулювань процес Вінера яка є узагальненням Броунівського руху. Тут ми розглядаємо стандартний гаусівський процесс з коваріаційною функцією
Ми можемо розглядаєио лише інтервал .
Ми можемо легко порахувати власні вектори, а саме
і відвідні власні числа
Щоб знайти власні числа та власні інтеграли ми маємо вирішити інтегральні рівняння
якщо ми продиференціюємо по , то ми отримаємо:
після другого диференціювання ми отримаємо наступне диференційне рівняння:
Загальний розв'язок диференційного рівняння виглядає так:
і - дві константи, які визначаються з граничних умов. При підставленні в інтегральне рівняння ми отримаємо з чого також отримаємо та, також, при перше диференціювання дає :
з чого ми отримаємо загальний вигляд власних чисел are:
Відповідні власні функції мають вигляд:
обрана так, щоб нормалізувати :
Ми отримаємо представлення процесу Вінера
Theorem. Існує послідовність незалежних Гасових випадкових величин з нульовим середнім та дисперсією 1 так щ
Треба зауважити що таке представлення дійсне при На більших інтервалах інкременти не незалежні. Як сказано в теоремі, збіжність у L2 нормі і рівномірна по t.
Броунівський міст Подібно Броунівський міст який є випадковим процесом з коваріацією
може бути представлений як ряд
Примітки
Посилання
Wu B., Zhu J., Najm F.(2005) «A Non-parametric Approach for Dynamic Range Estimation of Nonlinear Systems». In Proceedings of Design Automation Conference(841—844) 2005 Wu B., Zhu J., Najm F.(2006) «Dynamic Range Estimation». IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, Vol. 25 Issue:9 (1618—1636) 2006