Tę potrzebę potwierdziły przeprowadzane od 1526, a na szeroką skalę w latach 1527–1528 wizytacje parafii, w których brali udział m.in. Filip Melanchton i sam Luter. Reformatorzy byli poruszeni wynikami swoich obserwacji; zwłaszcza upadkiem moralnym, jak i intelektualnym duchowieństwa. Okazało się bowiem, że niektórzy proboszczowie nie opanowali pamięciowo Dekalogu i wyznania wiaryCytat: „Luter znał duchową nędze duchowieństwa. W czasie wizytacji spotykał duchownych, którzy nie znali bezbłędnie na pamięć nawet przykazań Bożych i wyznania wiary”. W: Historia powstawania i znaczenie katechizmów ks. Marcina Lutra, s. 38 (patrz bibliografia).. W przedmowie do Małego katechizmu Luter wspomina:
Katechizmy były znane już przed Lutrem, jednak różnica pomiędzy dziełem reformatora a średniowiecznymi katechizmami jest zasadnicza. Poprzednie katechizmy służyły pamięciowemu opanowaniu Modlitwy Pańskiej i Symbolu Apostolskiego, od XIII wieku również Zdrowaś Maryjo. Z rzadka natomiast zawierały treść Dekalogu, najczęściej jako materiał pomocniczy do spowiedzi. W odróżnieniu od nich, Luter postanowił w swym dziele zawrzeć także wyjaśnienie nauk, jakie niosą ze sobą podane treści.