Nawet jeśli miara dobrze koreluje się z ludzkim osądem na jednym korpusie, nie znaczy to, że poradzi sobie z innym korpusem. Dobra wydajność miary poprzez typy tekstu albo domeny jest ważna dla możliwości wielokrotnego wykorzystania tej miary. Kolejnym ważnym czynnikiem użyteczności miary ewaluacji jest posiadanie dobrej korelacji, działającej nawet z niewielkimi ilościami danych. Turian et al. (2003) piszą, że „Każda miara oceny tłumaczenia maszynowego jest mniej solidna na krótszych tłumaczeniach” i pokazują, że zwiększając ilość danych zwiększamy niezawodność miary. Jednakże dodaję, że „…solidność na krótszych tekstach, tak krótkich jak jedno zdanie lub nawet jedna fraza, jest wysoce pożądane, ponieważ solidna miara oceny tłumaczenia maszynowego może znacznie przyspieszyć analizę badawczą danych”.
Banerjee et al. (2005) podkreślają pięć atrybutów, które powinna posiadać dobra automatyczna miara: korelacja, czułość, konsekwencja, solidność i ogólność. Każda dobra miara musi wysoce korelować z ludzkim osądem, musi być konsekwentna: dawać podobne rezultaty tego samego tłumaczenia maszynowego na podobnym tekście. Musi być czuła na różnice między systemami tłumaczenia maszynowego i solidna w tych systemach, które podobnie oceniają.