Przeszedł cały szlak bojowy tej formacji w kampanii 1812.
Powrócił do Księstwa z misją objęcia dowództwa brygady w dywizji Izydora Krasińskiego w Kaliszu. W obliczu choroby generała dowodził całością tej formacji (ok. 7.000 ludzi) od 12 lutego 1813. Ze swoim zgrupowaniem przebił się do Lipska, gdzie 4 marca 1813 oddał dowództwo Janowi Henrykowi Dąbrowskiemu. Na czele piechoty dywizyjnej (2 i 4 pułk piechoty) odbył całą kampanię niemiecką. Został ranny w bitwie pod Lipskiem. 23 października odznaczony Krzyżem Legii Honorowej. 3 marca 1814 mianowany generałem brygady armii francuskiej. 5 maja otrzymał dymisję.
Służył w armii Królestwa Polskiego, mianowany dowódcą 1 Brygady 2 Dywizji Piechoty. W 1826 awansowany do stopnia generała dywizji i mianowany komendantem Twierdzy Zamość. W czasie powstania listopadowego organizował oddziały powstańcze w Lubelskiem.
Był członkiem loży wolnomularskiej Wolność OdzyskanaMarek Tarczyński, Generalicja powstania listopadowego, 1980, s. 63..
Żoną gen. Żółtowskiego była Kazimiera ze Skoraszewskich (ok. 1781–1829), córka Macieja i Rozalii z Otockich. Żółtowscy pobrali się w 1803 roku.