Nella classificazione statistica lerrore di Bayes rappresenta il limite minimo teorico dell'errore di classificazione per un dato problema ed è analogo allerrore irriducibile che si ottiene anche disponendo del miglior classificatore possibile (detto classificatore di Bayes), a causa della naturale sovrapposizione delle distribuzioni di probabilità delle diverse classi.
La stima del tasso di errore di Bayes trova importante applicazione nello studio dei modelli e delle tecniche di apprendimento automatico.
Definizione Si consideri un problema di classificazione in cui rappresenta il vettore delle caratteristiche (feature) e rappresenta la classe di appartenenza.
Sia la probabilità a posteriori che l'istanza appartenga alla classe . Il classificatore di Bayes è una regola di decisione ottimale che assegna l'istanza alla classe con la massima probabilità a posteriori:
Il tasso di errore di Bayes è il valore atteso dell'errore commesso da questa regola ottimale:
Nel caso di una classificazione binaria (), l'errore di Bayes può essere espresso integrando sulla densità di probabilità marginale :
In alternativa, Mohri, Rostamizadeh e Talwalkar forniscono la seguente definizione:
Data una distribuzione su , l'errore di Bayes è l'estremo inferiore degli errori calcolati attraverso funzioni misurabili :
Un'ipotesi con si dice ipotesi di Bayes o classificatore ottimale bayesiano.
Dettaglio Dato un classificatore multiclasse , l'errore di predizione atteso per un'istanza può essere calcolato come segue:
dove è il valore atteso, l'etichetta indica una possibile classe per , è la probabilità condizionata di per e è la loss 0–1:
dove è il delta di Kronecker.
Un classificatore di Bayes ottimale conosce la vera distribuzione condizionata dei dati per cui la classificazione è la seguente:
Il tasso d'errore di predizione atteso corrispondente è l'errore di Bayes:
dove la somma può essere omessa nell'ultimo termine poiché si tiene conto dell'evento contrario.
Per definizione, il classificatore di Bayes ottimale massimizza e, pertanto, minimizza l'errore di Bayes .
L'errore di Bayes è diverso da zero se le etichette non sono deterministiche, ovvero se esiste una probabilità diversa da zero che una data istanza appartenga a più di una classe. Nel contesto della regressione con errore quadratico, l'errore di Bayes è pari alla varianza del rumore.
Significato Errore irriducibile: L'errore di Bayes non dipende dall'algoritmo di apprendimento scelto (ad esempio reti neurali, SVM, alberi di decisione) né dalla quantità di dati di addestramento. È una proprietà intrinseca della distribuzione congiunta dei dati . Rumore nei dati: Esprime la presenza di ambiguità o rumore nei dati. Ad esempio, se due patologie diverse presentano gli stessi identici sintomi clinici () in una percentuale di pazienti, nessun algoritmo potrà mai distinguerle perfettamente basandosi solo su quelle caratteristiche/variabili. Valutazione dei modelli: viene utilizzato come benchmark ideale. Se un modello ha un tasso di errore vicino all'errore di Bayes, significa che non è possibile migliorarlo ulteriormente agendo sull'algoritmo, ma è necessario raccogliere nuove caratteristiche più discriminanti.
Stima Esistono diversi approcci per la stima dell'errore di Bayes. Poiché la vera distribuzione dei dati è quasi sempre sconosciuta nella realtà, calcolare l'esatto errore di Bayes è impossibile. Si può mirare a ottenere limiti analitici che dipendono intrinsecamente dai parametri di distribuzione e che, di conseguenza, sono difficili da stimare. Altri approcci sono incentrati sulle densità delle classi oppure sulla combinazione e sul confronto di più classificatori.
Alcuni approcci comuni alla stima (o delimitazione) dell'errore di Bayes sono i seguenti:
Il classificatore K-Nearest Neighbors (k-NN): è stato dimostrato che il tasso di errore del classificatore 1-NN (), al tendere del numero di dati all'infinito, è asintoticamente limitato superiormente da quasi il doppio dell'errore di Bayes:
Regole plug-in per classificatori binari: una regola plug-in utilizza una stima della probabilità a posteriori per formulare una regola di classificazione. Data una stima , il tasso di errore bayesiano in eccesso del classificatore associato è limitato superiormente da: Si noti che l’errore bayesiano in eccesso è 0 se i classificatori concordano ed è se non concordano. Per determinare il limite, si osservi che è almeno quando i classificatori non concordano. Capacità umana (human-Level performance): in task linguistici o legati alla visione (ad esempio la classificazione di immagini), le prestazioni di un gruppo di esperti umani vengono spesso utilizzate come approssimazione pratica dell'errore di Bayes.
Note
Voci correlate Classificatore bayesiano Classificazione multiclasse
Categoria:Apprendimento automatico