Zmarł 11 sierpnia 1934 roku w Rawiczu. Został pochowany na tamtejszym cmentarzu parafialnym (sektor 9A, rząd 1, grób 3).
Gen. Kalicki był żonaty z Maria Kynclową (ur. 6 października 1891 w Radowcach), z którą miał pięcioro dzieci: Marię (ur. 9 stycznia 1918 w Bolzano), Zofię (ur. 5 stycznia 1920 w Krakowie), Jana (ur. 5 kwietnia 1922 w Warszawie), Teresę (ur. 28 stycznia 1924 w Warszawie) i Stanisława Kostkę (ur. 24 listopada 1925 w Poznaniu).
W 2011 jedna z ulic Rawicza otrzymała nazwę: „Generała Józefa Kalickiego”elka.pl - Kalicki zastąpi Berlinga.
Ordery i odznaczenia Krzyż Walecznych dwukrotnie – 14 kwietnia 1922 Złoty Krzyż Zasługi – 29 kwietnia 1925 „za zasługi na polu wyszkolenia wojskowego”M.P. z 1925 r. nr 102, poz. 438. Krzyż Oficerski Legii Honorowej – 28 września 1925 turecki Medal Wojenny – 30 kwietnia 1925 turecki Medal Wojenny (w czasie służby w c. i k. Armii) pruski Krzyż Żelazny 2 klasy (w czasie służby w c. i k. Armii)
austro-węgierskie: Krzyż Rycerski Orderu Leopolda z dekoracją wojenną i mieczami Order Korony Żelaznej 3.