Nel contesto dell'apprendimento automatico, l'apprendimento attivo (noto in inglese come active learning) costituisce un caso speciale di apprendimento semi-supervisionato. Il principio fondamentale dell'apprendimento attivo è che un algoritmo può raggiungere un livello di accuratezza superiore con un numero significativamente inferiore di dati etichettati, a condizione che gli sia consentito di scegliere dinamicamente i dati da cui apprendere.
In molti problemi reali di intelligenza artificiale, i dati non etichettati sono abbondanti ed economici da raccogliere, mentre l'ottenimento delle relative etichette (la ground truth) richiede il consulto di esperti umani (chiamati oracoli) ed è un processo costoso in termini di tempo e risorse. L'apprendimento attivo ottimizza questo processo selezionando attivamente le istanze più informative da sottoporre all'oracolo.
Scenari In letteratura si distinguono tre scenari principali in cui l'algoritmo può formulare le proprie query:
Sintesi di query di appartenenza (Membership Query Synthesis): l'algoritmo non seleziona istanze da un dataset esistente, ma genera o sintetizza nuove istanze ex novo nello spazio delle caratteristiche , richiedendone l'etichettatura all'oracolo. Campionamento selettivo basato su flussi (Stream-Based Selective Sampling): I dati non etichettati vengono presentati all'algoritmo uno alla volta sotto forma di flusso continuo. Il modello deve decidere istantaneamente, sulla base di criteri di utilità, se scartare l'istanza o interpellare l'oracolo per ottenerne l'etichetta. Campionamento basato su pool (Pool-Based Sampling): È lo scenario più comune. Si assume l'esistenza di un grande insieme (pool) di dati non etichettati e di un piccolo insieme di dati etichettati . L'algoritmo valuta l'intero pool tramite una funzione di utilità e seleziona le migliori istanze da far etichettare.
Strategie di selezione Il cuore di un sistema di apprendimento attivo è la strategia di selezione (o metrica di utilità). Le strategie principali includono:
Campionamento basato sull'incertezza Il modello seleziona le istanze per le quali è meno sicuro della propria classificazione. Per un problema di classificazione multi-classe con classi, denotando con l'istanza scelta, le metriche matematiche più comuni includono:
Minima confidenza: Si seleziona l'istanza la cui classificazione più probabile ha la confidenza minore: dove è la classe più probabile predetta dal modello. Margin Sampling (Campionamento di minimo margine): Si seleziona l'istanza che presenta la minore differenza di probabilità tra le due classi più probabili ( e ):
Entropia di Shannon: Approccio basato sulla teoria dell'informazione. Si seleziona l'istanza che massimizza l'entropia della distribuzione delle probabilità delle classi:
Query-By-Committee Questo approccio prevede il mantenimento di un insieme (committee) di modelli , addestrati tutti sui dati correnti ma rappresentanti diverse ipotesi ammissibili. Viene selezionata l'istanza su cui i membri del comitato mostrano il massimo disaccordo. Il disaccordo viene spesso misurato tramite divergenza di Kullback-Leibler o voto di maggioranza.
Cambiamento atteso del modello Questa strategia seleziona l'istanza che, una volta etichettata e inclusa nel dataset, causerebbe la massima variazione nei parametri del modello o nei suoi gradienti. Un esempio comune è la massimizzazione della norma del gradiente attesa (Expected Gradient Length, EGL) per modelli addestrati tramite discesa del gradiente:
dove rappresenta il gradiente della funzione di costo.
Limiti e sfide Nonostante l'efficienza teorica, l'apprendimento attivo presenta alcune criticità note: Bias di campionamento: se l'algoritmo seleziona solo istanze vicine ai confini di decisione correnti (come nelluncertainty sampling), rischia di non esplorare altre regioni dello spazio delle caratteristiche, mancando intere classi (problema di missed cluster, o cluster mancato). Costo computazionale: valutare la funzione di utilità su milioni di istanze non etichettate in uno scenario pool-based a ogni singola iterazione può risultare proibitivo per modelli complessi come le reti neurali profonde (Deep Active Learning).
Note
Voci correlate Apprendimento supervisionato Apprendimento semi-supervisionato Teoria dell'informazione Campionamento statistico
Categoria:Apprendimento automatico