O valor tf–idf (abreviação do inglês term frequency–inverse document frequency, que significa frequência do termo–inverso da frequência nos documentos), é uma medida estatística que tem o intuito de indicar a importância de uma palavra de um documento em relação a uma coleção de documentos ou em um corpus linguístico. Ela é frequentemente utilizada como fator de ponderação na recuperação de informações e na mineração de dados.

O valor tf–idf de uma palavra aumenta proporcionalmente à medida que aumenta o número de ocorrências dela em um documento, no entanto, esse valor é equilibrado pela frequência da palavra no corpus. Isso auxilia a distinguir o fato da ocorrência de algumas palavras serem geralmente mais comuns que outras.

A medida surgiu no contexto do modelo de espaço vetorial, no qual documentos e consultas são representados como vetores de pesos de termos e a semelhança entre eles é calculada por operações vetoriais. Variantes do esquema continuam a ser empregadas por motores de busca como componente de pontuação e ordenação de resultados, e o tf–idf serve ainda de linha de base habitual em tarefas de processamento de linguagem natural, como a classificação de textos e a extração de palavras-chave.

Definição Seja uma coleção de documentos, um documento dessa coleção e um termo. O valor tf–idf resulta do produto de dois fatores calculados separadamente, um local ao documento e outro global à coleção.

Frequência do termo A frequência do termo mede quantas vezes ocorre em . Numa das formas mais comuns, a contagem bruta é normalizada pelo comprimento do documento:

em que designa o número de ocorrências de em e o denominador corresponde ao total de palavras do documento.

Inverso da frequência nos documentos O inverso da frequência nos documentos mede a especificidade do termo no conjunto da coleção:

em que o denominador indica quantos documentos contêm o termo pelo menos uma vez. Quanto mais raro for o termo, maior é o valor de idf. Um termo presente em todos os documentos da coleção recebe idf igual a zero, deixando de contribuir para a pontuação.

Combinação dos dois fatores O peso final é o produto dos dois fatores:

Um peso elevado resulta da conjugação de uma frequência alta do termo num documento com uma frequência baixa desse mesmo termo no restante da coleção. Como o fator idf tende a reduzir o peso das palavras comuns, a expressão favorece os termos que melhor distinguem um documento dos demais.

Motivação

Frequência do termo (tf) Suponha que foram selecionados uma coleção de documento de textos em português e que nós desejamos determinar qual deles tem maior relação com a frase "uma vaca amarela". Uma maneira simples de iniciar essa análise seria simplesmente descartar todos os documentos que não contém as palavras "uma", "vaca" e "amarela", mas apenas esse procedimento não seria suficiente para completar a análise, pois muitos documentos provavelmente possuem as três palavras. Assim, para melhorar a distinção entre elas, nós podemos contar o número de vezes que um dos termos ocorre em cada documento e somar esse valor. O número de vezes que um termo ocorre em um documento é a frequência do termo.

A primeira forma de ponderação de termos é atribuída a Hans Peter Luhn (1957) e se baseia na suposição de Luhn: O peso de um termo que ocorre em um documento é diretamente proporcional à sua frequência.

Inverso da frequência nos documentos (idf) No entanto, como o termo "uma" é muito comum, isso vai dar ênfase em documentos que utilizam essa palavra com mais frequência, sem dar a ênfase apropriada para termos com mais significado como "vaca" e "amarela". O termo "uma" não é uma boa palavra-chave para distinguir documentos relevantes de não-relevantes em comparação com as palavras "vaca" e "amarela". Assim, o inverso da frequência do termo nos documentos é incorporado para diminuir o peso dos termos que ocorrem mais frequentemente no conjunto de textos selecionados, ao mesmo tempo que aumenta o peso daqueles que ocorrem raramente.

Karen Spärck Jones (1972) concebeu uma interpretação estatística do termo IDF, que se tornou um conceito base para a ponderação de termos: A especificidade de um termo pode ser quantificada por uma função inversa do número de documentos em que ele ocorre.

Referências

Categoria:Processamento de linguagem natural