nowe znaczenie nie jest dodane, zrozumiałość zdania nie jest poprawiona” „0 – wzorcowe tłumaczenie zawiera mniej informacji niż badane tłumaczenie. System tłumaczący dodał pewne znaczenia aby sprawić, żeby tekst stał się bardziej zrozumiały” Powyżej opisana procedura ewaluacji tłumaczeń została przeprowadzona dla sześciu tłumaczeń: trzech tłumaczeń maszynowych i trzech wykonanych przez człowieka. Tłumaczone były fragmenty rosyjskiej publikacji zróżnicowane pod względem treści. W wyniku tego eksperymentu pokazano, że tłumaczenie wykonywane przez ludzi jest dużo lepszej jakości niż tłumaczenie maszynowe. Pośród różnych ocenianych tłumaczeń automatycznych znalazły się lepsze i gorsze, jednak średnio tłumaczenia te otrzymywały oceny w środku skali pomiędzy najlepszym a najgorszym możliwym tłumaczeniem.

Human Language Technologies Program prowadzony przez agencję ARPA W ramach tego programu ARPA stworzyła metody ewaluacji systemów tłumaczenia maszynowego, które używane są do dzisiaj.

Program ewaluacji zakładał testowanie systemów tłumaczenia wykorzystujących różnorodne metody tłumaczenia: statystyczne, bazujące na regułach gramatycznych oraz wspomagane przez człowieka.