Lapprendimento gerarchico () è un paradigma dell'apprendimento automatico fondato sulla scomposizione di un problema complesso in una struttura organizzata a più livelli, tipicamente ad albero o a grafo aciclico orientato.
In questo paradigma, i livelli inferiori elaborano rappresentazioni o sotto-problemi elementari, mentre i livelli superiori integrano tali informazioni per gestire astrazioni temporali a lungo termine o decisioni ad alto livello.
Principi teorici A differenza dei modelli di apprendimento "piatti" (flat learning), che tentano di mappare direttamente gli input agli output in un unico spazio di rappresentazione, l'apprendimento gerarchico si basa sul principio della composizionalità.
Formalmente, data una funzione obiettivo astratta , un'architettura gerarchica la approssima come una composizione di funzioni nidificate:
dove rappresenta la profondità della gerarchia e la trasformazione operata al livello -esimo.
Negli scenari di decision making sequenziale, come il rinforzo gerarchico, il problema viene formalizzato estendendo i tradizionali processi decisionali di Markov (MDP) attraverso il framework delle opzioni (Options Framework). Una macro-azione o opzione è definita dalla tripla:
dove: è l'insieme di stati di attivazione (in cui l'opzione può essere avviata); è la politica (policy) interna di basso livello; è la probabilità di terminazione dell'opzione nello stato corrente.
Principali ambiti applicativi
Apprendimento profondo Nelle reti neurali artificiali, le rappresentazioni gerarchiche emergono spontaneamente durante la fase di addestramento. Ad esempio, nelle reti neurali convoluzionali (CNN) applicate alla visione artificiale: i primi strati estraggono feature primarie (contorni, angoli, variazioni di colore); gli strati intermedi combinano le feature per individuare texture o parti di oggetti; gli strati finali assemblano le parti per identificare concetti complessi o classi di oggetti.
Apprendimento per rinforzo gerarchico LHierarchical Reinforcement Learning (HRL) risolve il problema della maledizione della dimensionalità nei task caratterizzati da lunghi orizzonti temporali. Attraverso algoritmi come MAXQ o architetture gerarchiche di tipo attore-critico, l'agente impara a suddividere un obiettivo complesso in sotto-obiettivi (sub-goal) primitivi.
Vantaggi Astrazione temporale e spaziale: riduzione del numero di decisioni necessarie per pianificare su orizzonti temporali a lungo termine. Riuso delle competenze: le sotto-procedure (o opzioni) apprese per un dato task possono essere riutilizzate in contesti differenti. Efficienza di campionamento: riduzione dello spazio di ricerca rispetto a un agente che lavora unicamente a livello di azioni primitive.
Note
Bibliografia
Voci correlate Apprendimento profondo Apprendimento per rinforzo Processo decisionale di Markov Rete neurale artificiale
Categoria:Apprendimento automatico Categoria:Apprendimento profondo Categoria:Apprendimento per rinforzo