Ojciec Emil zajmował się wytwarzaniem siodeł. Matka, Ida Kästner, z domu Augustin, była służącą, a w wieku 30 lat została fryzjerką. Relacje Kästnera z matką były bardzo bliskie i intensywne: w okresie spędzonym w Lipsku i Berlinie pisał do niej codziennie listy i kartki pocztowe. Motyw matki powraca także w jego powieściach. Później pojawiły się spekulacje (nigdy nie potwierdzone), że jego prawdziwym ojcem był lekarz pochodzenia żydowskiego Emil Zimmermann (1864–1953), będący lekarzem domowym rodziny Kästnerów.

Kästner uczęszczał od 1913 do seminarium nauczycielskiego w Dreźnie, jednak przerwał je 3 lata później, tuż przed jego zakończeniem. Wiele szczegółów z jego czasów szkolnych można odnaleźć w książce Latająca klasa. Swoje dzieciństwo opisał w autobiograficznym utworze z 1957 roku Kiedy byłem małym chłopcem;