TF () – częstość słów (ważenie częstością słów) — podstawowe pojęcie w analizie tekstu, które określa ilościowo, ile razy określony termin pojawia się w dokumencie; funkcja oceny relatywności dokumentu na podstawie wagi ilościowej (częstości wystąpień) słów w obrębie dokumentu. Ważenie termów jest procesem obliczania wag, czyli stopnia przynależności termu do dokumentu z uwzględnieniem częstotliwości występowania termu w tekście.

Metoda obliczania Podstawowa formuła TF oblicza się jako stosunek liczby wystąpień termu w dokumencie do całkowitej liczby termów w tym dokumencie:

gdzie jest surową liczbą wystąpień terminu w dokumencie, tj. liczbą razy, gdy termin pojawia się w dokumencie . Mianownik jest łączną liczbą terminów w dokumencie (licząc każde wystąpienie, także powtórzenia tego samego terminu). W literaturze spotyka się także inne definicje częstości terminu.

Warianty obliczania Istnieje wiele wariantów obliczania częstości termów, opracowanych w celu rozwiązania różnych problemów związanych z ważeniem termów:

+schemat ważeniadefinicja wagi tf ( – surowa liczba wystąpień)liczba wystąpieńbinarna (Boolean), gdy , w przeciwnym razie względna (znormalizowana)logarytmicznie skalowanaaugmentowana Częstość (ang. raw count) – prosta liczba wystąpień termu w dokumencie Logarytmiczne skalowanie – zmniejsza wagę dla termów pojawiających się wielokrotnie: , co zapobiega nadmiernemu wpływowi bardzo częstych termów Normalizacja – dzieli surową częstość przez częstość najczęściej występującego termu w dokumencie, aby zapobiec faworyzowaniu dłuższych dokumentów Częstość boolowska – 1 jeśli term występuje w dokumencie, 0 w przeciwnym razie Normalizacja według długości dokumentu – uwzględnia różnice w długości dokumentów, stosując odpowiednie współczynniki normalizacyjne

Zastosowania TF znajduje zastosowanie w obszarach przetwarzania języka naturalnego i wyszukiwania informacji:

Wyszukiwarki internetowe – ranking wyników wyszukiwania według trafności Klasyfikacja tekstu – kategoryzacja dokumentów na podstawie zawartości Ekstrakcja słów kluczowych – identyfikacja najważniejszych terminów w dokumencie Systemy rekomendacji – porównywanie opisów tekstowych produktów lub treści Podsumowywanie tekstu – określanie najistotniejszych fragmentów dokumentu

Badania przeprowadzone przez Beela i in. w 2016 roku wykazały, że TF-IDF (najczęściej stosowany schemat oparty na TF) był wykorzystywany w ponad połowie systemów rekomendacji artykułów naukowych.

Częstość słów (ang. word frequency, będąca synonimem pojęcia term frequency) była jedną z podstawowych reguł, na których pierwsze wyszukiwarki internetowe pozycjonowały strony w wynikach. Dotyczyło to szczególnie wczesnych wyszukiwarek takich jak AltaVista, WebCrawler i Infoseek, które przywiązywały bardzo dużą wagę do częstości występowania słów kluczowych na stronach internetowych. We wczesnych fazach rozwoju wyszukiwarek internetowych, proste algorytmy oparte na częstości termów były wykorzystywane przez Google i inne wyszukiwarki do sortowania wyników wyszukiwania.

Powszechny jest pogląd, że TF przywiązuje zbyt dużą wagę do powtarzających się wystąpień terminu/słowa. W wyszukiwarkach opartych na klasyfikacji opartej na częstości termów (TF) lub wariantach ważenia typu TF-IDF stosowane były techniki typu Keyword stuffing (upychane słowa kluczowe) polegająca na sztucznym zwiększaniu liczby wystąpień wybranych słów kluczowych (terminów) w treści lub innych polach tekstowych strony w celu podniesienia oceny trafności w wyszukiwarce opartej na dopasowaniu tekstowym, w tym na. W literaturze dotyczącej spamu w wyszukiwarkach praktyka ta jest opisywana jako przykład term spammingu (spamowania terminami): w modelach, w których istotnym składnikiem wyniku jest podobieństwo tekstowe (a więc m.in. częstość termów), podstawowym sposobem sztucznego „podbicia” oceny jest powtarzanie „celowanych” terminów w określonych polach tekstowych strony, co bezpośrednio zwiększa ich częstość.

Dodatkowymi ograniczeniami są: problemy z dokumentami o różnej długości – dłuższe dokumenty mają tendencję do wyższych wartości TF, brak uwzględnienia znaczenia semantycznego termów, wrażliwość na częste, ale mało znaczące słowa (tzw. stop words) a także problem nadmiernej penalizacji długich dokumentów w niektórych wariantach normalizacji. Z tych powodów opracowano różne techniki rozwinięcia metody TF w różnych dziedzinach takie jak: TF-IDFC-RF, TF-G (wykorzystujące technikę Gaussa do klasyfikacji tekstu), TF-ICF, TF-IDF (Term Frequency - Inverse Document Frequency). Karen Spärck Jones w swojej pracy z 1972 roku zatytułowanej A Statistical Interpretation of Term Specificity and Its Application in Retrieval opublikowanej w zaproponowała statystyczną interpretację specyficzności termów. Jej koncepcja inverse document frequency (IDF) w połączeniu z term frequency stała się kamieniem milowym w dziedzinie information retrieval. Dalszy rozwój tej teorii przez , Karen Spärck Jones i innych badaczy w latach 70. i 80. XX wieku doprowadził do stworzenia probabilistycznego modelu wyszukiwania informacji. Efektem tych prac był algorytm Okapi BM25, który stał się jednym z najbardziej udanych algorytmów wyszukiwania tekstowego i jest wykorzystywany w wielu współczesnych wyszukiwarkach. TF jest wykorzystywane jako podstawa do tworzenia reprezentacji numerycznych tekstów w algorytmach uczenia maszynowego, umożliwiając przekształcenie danych tekstowych w wektory liczbowe – stanowi podstawowy komponent schematów ważenia termów używanych w zadaniach przetwarzania języka naturalnego i eksploracji danych. TF może być stosowane samodzielnie jako metoda reprezentacji tekstów lub jako składnik bardziej zaawansowanych metod takich jak TF-IDF.

Przypisy

Bibliografia Term Frequency and Inverted Document Frequency Introduction to Information Retrieval – Stanford NLP Group Robertson, S.E., Zaragoza, H. (2009). The Probabilistic Relevance Framework: BM25 and Beyond Zobacz też TFIDF Przetwarzanie języka naturalnego Kategoria:Wyszukiwarki internetowe Kategoria:Przetwarzanie języka naturalnego