II wojna światowa We wrześniu 1939 r. został niegroźnie ranny w głowę i biodro. Podczas okupacji niemieckiej pozostał na stanowisku dyrektora elektrowni, koncentrując się przede wszystkim na odbudowie, uruchomieniu i doprowadzeniu do pełnej mocy elektrowni, co okazało się niewykonalne z uwagi na decyzje władz okupacyjnych. Niemcy narzucili ograniczenia w zakresie produkcji i odbioru prądu, wymagając dostarczania tegoż przede wszystkim na ich potrzeby. Elektrownia służyła ponadto jako bezpieczne miejsce pracy dla członków ruchu oporu. Decyzję w sprawie zatrudnienia żołnierzy podziemia Kühn podejmował osobiście. mały|Grób Alfonsa Kühna na cmentarzu Powązkowskim w Warszawie Na przełomie 1941 i 1942 r. zachorował na rozedmę płuc. W marcu 1942 r. przeszedł na emeryturę. W 1943 r. stan jego zdrowia uległ pogorszeniu. Zmarł 27 stycznia 1944 w Warszawie i został pochowany na cmentarzu Powązkowskim (kwatera 85-6-10,11).
W 2022 roku z inicjatywy Premiera Mateusza Morawieckiego grób Kühna w został odrestaurowany. Cały projekt został zrealizowany przez Fundację Stare Powązki we współpracy z Kancelarią Prezesa Rady Ministrów.