Do obliczenia nDCG potrzebna jest wartość IDCG. Załóżmy, że oprócz sześciu zwróconych dokumentów znane są jeszcze dwa dokumenty relewantne dla tego zapytania, których wyszukiwarka nie zwróciła: jeden z oceną 3 i jeden z oceną 2. Ranking idealny wszystkich znanych dokumentów ma wówczas postać:

a po obcięciu do sześciu pozycji:

skąd:

Ograniczenia Z definicji wynika, że dokument nierelewantny (o ocenie 0) nie wnosi wkładu do sumy, więc dopisanie do listy dodatkowych nierelewantnych wyników nie obniża jej nDCG. Miara nie karze też za brak dokumentów relewantnych na liście: dwie listy zwracające te same dokumenty w tej samej kolejności, lecz różnej długości, mogą uzyskać identyczne nDCG. Z tych powodów nDCG oblicza się zwykle dla ustalonej liczby pierwszych pozycji , co zapisuje się jako nDCG@k.

Wiarygodność nDCG zależy ponadto od kompletności ocen relewancji. W kolekcjach testowych oceniana jest tylko część dokumentów, a dokumenty nieocenione traktuje się zwykle jak nierelewantne, co może zaniżać wynik systemów zwracających relewantne, lecz nieocenione dokumenty.

Przypisy

Linki zewnętrzne – implementacja nDCG w bibliotece scikit-learn Kategoria:Uczenie maszynowe Kategoria:Zachowania informacyjne