– z którą miał czworo dzieci: córki Sylvia, Sigrid i Ulle oraz syna Rainera, miał także pięcioro wnucząt o imionach: Steven, Timo, Dapher, Janis, NicoleErnest Wilimowski tęsknił za Śląskiem [data dostępu: 2007-05-25].).
Osiadł w Karlsruhe, gdzie pracował jako urzędnik, odmówił pracy w Niemieckim Związku Piłkarskim (DFB)Futbol jest wielki: Ernest Wilimowski [data dostępu: 2010-01-12].. Jednak wykonywanie zawodu na pełnym etacie nie stanowiło przeszkody w amatorskiej grze w piłkę nożną oraz w pracy trenerskiej w klubach niższych klas rozgrywkowych, gdyż był bardzo oddany swojej pasji (potrafił jednego dnia prowadzić treningi w dwóch klubach w różnych miejscowościach).
Po drugiej wojnie światowej nie wrócił na Górny Śląsk, choć w 1995 roku była nawet szansa, żeby po latach przyjechał tam na zaproszenie działaczy Ruchu Chorzów z okazji 75-lecia istnienia klubu, jednak ze względu na chorobę żony, a przede wszystkim niepochlebne opinie (na kilka dni przed przyjazdem, dziennikarz sportowy Bohdan Tomaszewski publicznie nazwał go zdrajcą i stwierdził, że nie powinien on przyjeżdżać do Polski) spowodowały rezygnację Wilimowskiego z przyjazdu do PolskiErnest Wilimowski – bohater czy zdrajca? [data dostępu: 2014-11-10]..