Miara musi być ogólna – powinna działać z różnymi domenami tekstu, w różnych zakresach scenariuszy i zadań tłumaczenia automatycznego.

BLEU

BLEU jest jedną z pierwszych miar, które wykazały wysoką korelację ludzką oceną jakości. Jest ona obecnie jedną z najpopularniejszych metod w tym polu. Jej główna idea brzmi „im bliższe tłumaczenie maszynowe jest profesjonalnemu tłumaczeniu ludzkiemu, tym jest lepsze”. Miara ta oblicza punkty za indywidualne segmenty, zwykle zdania, a następnie liczy średnią tych punktów na całym korpusie. Udowodniono, że wysoko koreluje ona z ludzkim osądem jakości na poziomie korpusu.

BLEU wykorzystuje zmodyfikowaną formę precyzji, aby porównać tłumaczenie kandydujące z wieloma nawiązującymi (wzorcowymi) tłumaczeniami. Miara modyfikuje prostą precyzję, ponieważ systemy tłumaczenia maszynowego generują więcej słów niż istnieje w tekście wzorcowym.