Podczas wojny moskiewskiej w 1613 roku w rejon Kaługi dotarły oddziały Rzeczypospolitej pod dowództwem hetmana kozackiego Piotra Konaszewicza-Sahajdacznego. W drugiej połowie XVII wieku w Kałudze zaczęła się rozwijać produkcja metalu i w mieście pojawia się jedna z pierwszych odlewni żelaza w Rosji. Od XVIII wieku Kaługa była miejscem zsyłek osób uznanych za wrogów Rosji. W latach 1767–1772 więzieni w Kałudze byli biskup Kajetan Ignacy Sołtyk wraz z trzema senatorami hetmanem polnym koronnym Wacławem Rzewuskim, jego synem, posłem podolskim Sewerynem Rzewuskim oraz biskupem kijowskim Józefem Załuskim. Więzieni tu byli także chan tatarski Şahin Girej i Imam Szamil. W 1796 Kaługa została stolicą guberni. W XIX wieku z powodu ominięcia jej przez kolej zaczęła podupadać.
Od 12 października do 30 grudnia 1941 roku miasto było okupowane przez wojska niemieckie. Po przeżyciach podczas wielkich czystek Stalina wielu mieszkańców miasta powitało jednostki Wehrmachtu z chlebem i soląTimothy Snyder: Black Earth. Londyn 2015, s. 195..
Podczas okupacji hitlerowskiej, w listopadzie 1941 roku Niemcy utworzyli getto dla żydowskich mieszkańców. Przebywało w nim około 150 osób. 21 grudnia 1941 roku wobec zbliżającej się Armii Czerwonej, Niemcy podpalili domy w getcie, zamordowali około 30 osób.