miniaturadaimagem|Exemplos de agrupamentos para um conjunto de dados com os algoritmos k-Means (esquerda) e Mean Shift (direita). O índice Rand Ajustado calculado para esses dois agrupamentos é O índice Rand ou medida Rand (nomeado em homenagem a William M. Rand) em estatística, e em particular em agrupamento de dados, é uma medida da similaridade entre dois agrupamentos de dados. O índice Rand mede a precisão para determinar se um elemento pertence a um cluster ou não.

Índice Rand Dado um conjunto de elementos e duas partições de para comparar, , uma partição de S em r subconjuntos, e , uma partição de S em s subconjuntos, define-se o seguinte:

, o número de pares de elementos em que estão no mesmo subconjunto em e em , o número de pares de elementos em que estão em diferentes subconjuntos em e em , o número de pares de elementos em que estão no mesmo subconjunto em e em subconjuntos diferentes em , o número de pares de elementos em que estão em diferentes subconjuntos em e no mesmo subconjunto em

O índice Rand, , é:

Intuitivamente, pode ser considerado como o número de semelhanças entre e e como o número de diferenças entre e .

Como o denominador é o número total de pares, o índice Rand representa a frequência de ocorrência de concordâncias sobre o total de pares, ou a probabilidade de que e concordarão em um par escolhido aleatoriamente.

é calculado como .

Da mesma forma, também é possível considerar o índice Rand como uma medida da porcentagem de decisões corretas tomadas pelo algoritmo. Ele pode ser calculado usando a seguinte fórmula:

onde é o número de verdadeiros positivos, é o número de verdadeiros negativos, é o número de falsos positivos, e é o número de falsos negativos.

Propriedades O índice Rand tem um valor entre 0 e 1, com 0 indicando que os dois agrupamentos de dados não coincidem em nenhum par de pontos e 1 indicando que os agrupamentos de dados são exatamente os mesmos.

Em termos matemáticos, a, b, c, d são definidos da seguinte forma:

, onde , onde , onde , onde

para alguns

Relação com a precisão da classificação O índice Rand também pode ser visto através do prisma da precisão da classificação binária sobre os pares de elementos em . Os dois rótulos de classe são " e estão no mesmo subconjunto em e " e " e estão em diferentes subconjuntos em e ".

Nesse cenário, é o número de pares corretamente rotulados como pertencentes ao mesmo subconjunto ( verdadeiros positivos ) e é o número de pares corretamente rotulados como pertencentes a diferentes subconjuntos ( verdadeiros negativos ).

Índice Rand Ajustado O índice Rand Ajustado (ou ARI) é a versão corrigida do índice Rand, ajustado para combinações aleatórias. Tal correção estabelece uma linha de base usando a similaridade esperada de todas as comparações de pares entre agrupamentos especificados por um modelo aleatório. Tradicionalmente, o índice Rand era corrigido usando o modelo de permutação para agrupamentos (o número e o tamanho dos agrupamentos dentro de um agrupamento são fixos, e todos os agrupamentos aleatórios são gerados embaralhando os elementos entre os agrupamentos fixos). No entanto, as premissas do modelo de permutação são frequentemente violadas; em muitos cenários de agrupamento, tanto o número de agrupamentos quanto a distribuição de tamanho desses agrupamentos variam drasticamente. Por exemplo, considere que em K-means o número de agrupamentos é fixado pelo praticante, mas os tamanhos desses agrupamentos são inferidos a partir dos dados. Variações do Índice Rand ajustado são responsáveis por diferentes modelos de agrupamentos aleatórios.

Embora o índice Rand possa produzir apenas um valor entre 0 e +1, o índice Rand ajustado pode produzir valores negativos se o índice for menor que o índice esperado.

Dado um conjunto de elementos e dois agrupamentos ou partições ( por exemplo, agrupamentos) desses elementos, a saber e , a sobreposição entre e pode ser resumida em uma tabela de contingência onde cada entrada denota o número de objetos em comum entre e : .

Definição O índice Rand ajustado original usando o modelo de permutação é

onde são valores da tabela de contingência.

Ver também

Coeficiente de correspondência simples

Notas Para uma abordagem diferente que também utiliza permutações para criar reamostragens contrafactuais, veja teste de permutação.

Referências

Ligações externas

Implementação C++ com arquivos mex do MATLAB

Categoria:Estatística Categoria:Agrupamento de dados