Nel contesto dell'apprendimento automatico, la riduzione non lineare della dimensionalità, nota anche come apprendimento di varietà, è un insieme di tecniche per la riduzione della dimensionalità dei dati. Esse hanno lo scopo di proiettare dati ad alta dimensionalità su spazi latenti, come le varietà non lineari, di dimensionalità inferiore nei quali spesso essi sono situati. Queste strutture non possono essere adeguatamente catturate da metodi di decomposizione lineare. L'obiettivo è quello di apprendere la mappatura dallo spazio originario ad alta dimensionalità sullo spazio di immersione (o embedding) a bassa dimensionalità al fine, ad esempio, di poter agevolmente visualizzare i dati nella rappresentazione a bassa dimensionalità.
Le diverse tecniche di riduzione non lineari possono essere intese come generalizzazioni dei metodi di decomposizione lineare generalmente utilizzati per la riduzione della dimensionalità, quali la decomposizione ai valori singolari e l'analisi delle componenti principali.
Applicazioni Dati ad alta dimensionalità possono risultare difficili da elaborare per le macchine, richiedendo tempi e spazio considerevoli per la loro analisi. Essi rappresentano una sfida anche per gli esseri umani, poiché è difficile visualizzare o comprendere dati in più di tre dimensioni. Ridurre la dimensionalità di un insieme di dati, mantenendone al contempo le caratteristiche essenziali relativamente intatte, può rendere gli algoritmi più efficienti e consentire agli analisti di visualizzare tendenze e regolarità.
Le rappresentazioni a dimensionalità ridotta dei dati sono spesso definite "variabili intrinseche". Questa definizione implica che si tratti dei valori da cui sono stati generati i diversi dati. Ad esempio, si consideri un dataset contenente immagini della lettera "A", scalata e ruotata in misura variabile. Ogni immagine ha 32×32 pixel quindi può essere rappresentata come vettore di 1024 valori, uno per pixel. Ogni riga rappresenta un punto su una varietà bidimensionale in uno spazio a 1024 dimensioni (uno spazio di Hamming). La dimensionalità intrinseca è due, perché due variabili (rotazione e scala) devono essere variate per generare i dati. Le informazioni sulla forma o sull'aspetto della lettera "A" non fanno parte delle variabili intrinseche perché sono le stesse in ogni istanza. La riduzione non lineare della dimensionalità scarterà le informazioni correlate (la lettera "A") per focalizzarsi sul recupero delle informazioni variabili (rotazione e scala).
Per converso, se per ridurre lo stesso insieme di dati a due dimensioni si utilizza un algoritmo di riduzione lineare della dimensionalità, come ad esempio l'analisi delle componenti principali, i valori risultanti non risultano organizzati altrettanto bene. Ciò dimostra che i vettori ad alta dimensionalità che possono essere campionati da questa varietà (ciascuno rappresentante una lettera 'A') variano in modo non lineare.
Risulta quindi evidente che l'apprendimento di varietà ha diverse applicazioni nel campo della visione artificiale. Ad esempio, si consideri un robot che utilizza una telecamera per muoversi in un ambiente statico chiuso. Le immagini acquisite da tale telecamera possono essere considerate come campioni su una varietà in uno spazio ad alta dimensionalità e le variabili intrinseche di tale varietà saranno rappresentate da posizione e direzione del robot.
Le varietà invarianti rivestono un interesse generale per la riduzione dell'ordine dei modelli nei sistemi dinamici. se nello spazio delle fasi esiste una varietà invariante attrattive, le traiettorie vicine convergeranno su di essa e vi rimarranno indefinitamente, rendendola una candidata per la riduzione della dimensionalità del sistema dinamico. Sebbene l'esistenza di tali varietà non sia garantita in generale, la teoria delle sottovarietà spettrali fornisce le condizioni per l'esistenza di oggetti invarianti attrattivi unici nella più ampia classe dei sistemi dinamici. L'attività di ricerca corrente sulla riduzione non lineare della dimensionalità mira a individuare le varietà di osservazione associate ai sistemi dinamici per sviluppare tecniche di modellizzazione.
Principali tecniche di riduzione non lineare della dimensionalità Autoencoder kPCA (PCA kernelizzata) kPCA basata su grafo: Isomap Immersione localmente lineare (LLE, LLE hessiana) Automappa laplaciana PCA non lineare Scaling multidimensionale - MDS t-SNE UMAP
Note
Bibliografia
Voci correlate Ipotesi della varietà Analisi discriminante lineare (di Fisher) Mappa auto-organizzante (SOM) Riduzione della dimensionalità
Categoria:Apprendimento automatico