Po wybuchu II wojny światowej został wpisany na niemiecką listę narodowościową. W 1940 roku wyjechał w głąb III Rzeszy do Saksonii, a prawie cała Polska uznała go za zdrajcę narodu, mimo że do wyjazdu namawiał go m.in. Józef Kałuża, trener reprezentacji Polski [data dostępu: 2013-01-09].. W celu uniknięcia służby wojskowej w Wehrmachcie został policjantem i kontynuował karierę sportową w barwach III Rzeszy. Grał w klubach: Bismarckhütter SV (1939), 1. FC Kattowitz (1939–1940), PSV Chemnitz (1940–1942 – Puchar Związku Rzeszy w 1941 roku), TSV 1860 Monachium (1942–1943), w którego barwach dnia 15 listopada 1942 roku na Stadionie Olimpijskim w Berlinie po zwycięstwie 2:0 z Schalke Gelsenkirchen (Wilimowski strzelił bramkę w 80 minucie na 1:0) w finale zdobył Puchar Niemiec 1942 (Tschammer-Pokal), a Górnoślązak z 14 golami został królem strzelców tych rozgrywek. Następnie reprezentował barwy LSV Mölders Krakau (1943), 1. FC Kattowitz (1944), Karlsruher FV (1944), VfB Stuttgart (1944).
W 1942 roku jego matka – Paulina Wilimowska, za romans z radzieckim Żydem trafiła do obozu koncentracyjnego Auschwitz i pracowała u jednego z obozowych oficerów SS.