Le, Oriol Vinyals, 2015, „Listen, Attend and Spell”., gdyż są one niepraktyczne w rozwiązaniach mobilnych, ale nie bazujących na zewnętrznym serwerze czy chmurze.
Model języka służy do ukierunkowywania przeszukiwania, ogranicza więc jego złożoność obliczeniową (co oczywiście może skutkować spadkiem jakości i utratą optymalnych rozwiązań w mniej lokalnym sensie). Zasoby zajmowane rosną szczególnie w fazie trenowania modeli i algorytmów (tysiące godzin nagrań transkrybowanej mowy). Stosunkowo nowym podejściem jest model języka oparty na metodzie pamięci podręcznej, który umożliwia stopniowe przełączanie się modelu w bardziej lokalny kontekst (dla dużych słowników/kontekstów różnice między słowami na poziomie akustycznym są często zaniedbywalnie małe)R. Kuhn, R. De Mori, czerwiec 1990. „A Cache-Based Natural Language Model for Speech Recognition”. IEEE TPAMI.. Duże korpusy dla modeli akustyczno-językowych mają zwykle restrykcyjne licencje, aby ułatwić rozwój rozwiązań otwartych powstał projekt VoxForgeVoxForge. oraz Common Voice.