Nell'apprendimento automatico, un classificatore quadratico è un classificatore statistico che utilizza una superficie di decisione quadratica atta a separare due o più classi di oggetti o eventi. Esso rappresenta una versione più generale del classificatore lineare.
Il problema di classificazione La classificazione statistica considera un insieme di vettori di osservazioni di un oggetto o evento, ciascuno dei quali ha un tipo noto . Tale insieme è detto insieme di addestramento. Il problema è quindi determinare, per un nuovo vettore di osservazioni dato, quale debba essere la classe migliore. Per un classificatore quadratico, si presume che la soluzione corretta sia quadratica nel vettore , quindi viene decisa in base a
Nel caso particolare in cui ogni esempio consti di due caratteristiche (feature) osservate, le superfici che separano le classi saranno sezioni coniche (ovvero, una retta, un cerchio o un'ellisse, una parabola o un'iperbole). In tal senso, si può affermare che un modello quadratico sia una generalizzazione del modello lineare e che il suo utilizzo sia giustificato dalla necessità di estendere la capacità del classificatore di rappresentare superfici di separazione più complesse.
Analisi discriminante quadratica L'analisi discriminante quadratica (QDA) è strettamente correlata all'analisi discriminante lineare (LDA), in cui si presume che gli esempi di ciascuna classe siano distribuiti normalmente. A differenza della LDA, tuttavia, nella QDA non si presume che la covarianza di ciascuna classe sia identica. Quando l'assunzione di normalità è verificata, il miglior test possibile per l'ipotesi che un dato esempio provenga da una data classe è quello del rapporto di verosimiglianza. Si supponga che ci siano solo due gruppi, con medie e matrici di covarianza corrispondenti ai casi di e rispettivamente. Allora il rapporto di verosimiglianza, per una certa soglia , sarà dato da: .
Con alcune modifiche, è possibile dimostrare che la superficie di separazione risultante tra le classi è quadratica. In questa formula, le stime campionarie del vettore medio e delle matrici di varianza-covarianza vanno a sostituire le quantità relative all'intera popolazione.
Relazione con i modelli lineari Sebbene la QDA sia il metodo più comunemente utilizzato per ottenere un classificatore sono possibili anche altri metodi. Uno di questi consiste nell'estendere la dimensionalità dei vettori delle istanze, aggiungendo tutti i prodotti a coppie delle singole feature.
Ad esempio, il vettore
diventerebbe .
Trovare un classificatore quadratico per le misurazioni originarie si traduce allora nel trovare un classificatore lineare basato sul vettore esteso. Tale osservazione è stata utilizzata per estendere i modelli basati su reti neurali; il caso "circolare", che corrisponde all'introduzione della sola aggiunta di termini quadratici puri senza prodotti misti (), si è dimostrato il compromesso ottimale tra l'estensione del potere di rappresentazione del classificatore e il controllo del rischio di sovradattamento (dimensione di Vapnik-Chervonenkis).
Per i classificatori lineari basati solo sui prodotti scalari, queste feature estese non devono essere effettivamente calcolate, poiché il prodotto scalare nello spazio a più dimensioni è semplicemente correlato a quello nello spazio originario. Questo è un esempio del cosiddetto trucco del kernel, che può essere applicato nel caso della LDA così come in quello della SVM.
Note
Bibliografia
Categoria:Algoritmi di classificazione Categoria:Apprendimento automatico