Nell'ambito dell'apprendimento automatico, l'apprendimento di rappresentazioni () comprende le tecniche che mirano a scoprire automaticamente rappresentazioni utili a risolvere specifici problemi di apprendimento mediante la costruzione delle migliori caratteristiche (feature) a partire da dati grezzi. Si tratta di un approccio automatico all'ingegneria delle caratteristiche (feature engineering) va a sostituire quello manuale, in modo che le macchine possano apprendere in modo end-to-end sia una rappresentazione ottimale dei dati sia il modello per la soluzione dello specifico problema (ad es. di classificazione o regressione).
Motivazione Negli algoritmi di apprendimento automatico tradizionali, come la regressione logistica o le macchine a vettori di supporto, le prestazioni dipendono fortemente dalla qualità delle caratteristiche estratte dai dati grezzi. L'ingegnerizzazione delle feature richiede spesso una profonda conoscenza del dominio di applicazione (detenuta dagli esperti) e risulta tipicamente un processo lungo e poco flessibile. L'apprendimento della rappresentazione mira a superare questo limite estraendo automaticamente astrazioni di alto livello.
Formalmente, dato un insieme di dati d'ingresso , l'obiettivo è apprendere una funzione di trasformazione che mappi i dati grezzi in uno spazio di rappresentazione , tale che catturi le strutture informative latenti essenziali per il compito finale .
Paradigmi
Apprendimento di rappresentazioni supervisionato Nell'apprendimento supervisionato, le rappresentazioni vengono apprese sfruttando le etichette della variabile-obiettivo. Un esempio classico è dato dalle reti neurali convoluzionali (CNN), dove i strati (layer) intermedi apprendono gerarchie di caratteristiche: dai contorni e dalle texture negli strati più bassi a forme e oggetti complessi in quelli più alti .
A livello matematico, i parametri della rete vengono ottimizzati minimizzando una funzione di perdita :
dove è il modello finale (classificatore/regressore) e rappresenta il generico campione del dataset supervisionato di addestramento.
Apprendimento non supervisionato e autoencoder Quando le etichette non sono disponibili, si possono apprendere le rappresentazioni ricostruendo lo stesso input . Gli autoencoder utilizzano una struttura encoder-decoder: Encoder: Decoder:
L'obiettivo è minimizzare lerrore di ricostruzione dell'input originale da quello ricostruito :
Per evitare che l'autoencoder apprenda semplicemente l'identità , si applicano vincoli di regolarizzazione, come la sparsità (sparse autoencoder), il rumore (denoising autoencoders ) o la modellazione probabilistica attraverso gli Autoencoder Variazionali (VAE).
Apprendimento auto-supervisionato Nellapprendimento autosupervisionato (Self-Supervised Learning, SSL) si creano compiti fittizi (pretext task) a partire dai dati non etichettati al solo fine di apprendere rappresentazioni utili nello stadio intermedio. Uno degli approcci più diffusi è l'apprendimento per contrasto, implementato in sistemi come SimCLR mediante l'uso della loss InfoNCE.
L'obiettivo è massimizzare la similarità tra rappresentazioni di istanze simili, coppie positive , e minimizzare la similarità con istanze diverse, coppie negative , espresse nello spazio di rappresentazione. La loss InfoNCE, adattata dalla funzione di perdita introdotta in , è espressa da:
dove indica la similarità coseno e è un parametro di temperatura.
Embedding di parole e grafi Nell'ambito del elaborazione del linguaggio naturale, algoritmi come Word2vec e GloVe convertono le parole in vettori densi in grado di preservare le relazioni semantiche, come ad esempio: . Successivamente, architetture basate su transformer (come BERT o GPT) hanno introdotto rappresentazioni dinamiche dei contesti.
Qualità delle rappresentazioni Una rappresentazione ottimale dei dati dovrebbe soddisfare alcune proprietà-chiave : Separazione (disentanglement''): i fattori di variazione sottesi nei dati grezzi dovrebbero essere separati nelle diverse dimensioni dello spazio vettoriale latente. Invarianza: le rappresentazioni dovrebbero rimanere stabili rispetto a trasformazioni di scarso rilievo dell'input (ad es. piccole traslazioni o rotazioni di un'immagine). Grado di astrazione (gerarchia): concetti di livello superiore dovrebbero essere costruiti come combinazione di concetti di livello inferiore. Sparsità''': per ogni input, solo una piccola frazione di elementi nello spazio di rappresentazione dovrebbe assumere valori non nulli.
Note
Voci correlate Apprendimento per contrasto Apprendimento profondo Autoencoder Elaborazione del linguaggio naturale Rete neurale convoluzionale
Categoria:Apprendimento automatico Categoria:Apprendimento profondo Categoria:Rappresentazione della conoscenza Categoria:Ingegneria della conoscenza