18 października 1904 został zwolniony ze stanowiska.
Od dzieciństwa przejawiał arcyksiążę zamiłowanie do teatru. Chciał zostać, jak mawiał, dyrektorem Burgtheater, czyli Teatru Jego Cesarskiej Mości w Wiedniu. Interesował się literaturą i muzyką. Choć żył po zawarciu małżeństwa z dala od Wiednia otrzymał pozwolenie na uczestnictwie w pogrzebie arcyksięcia Franciszka Ferdynanda. Mimo iż sam w tym czasie był już poważnie chory. Sprawiał wrażenie człowieka starego, wyniszczonego przez życie.
Karierę wojskową arcyksięcia zakończył romans, a następnie zawarcie morganatycznego małżeństwa. Arcyksiążę zakochał się w Bercie Czuber (1879–1979), córce profesora uniwersyteckiego – Emanuela Czubera. Ferdynand Karol i Berta postanowili wziąć ślub, ale rodzina Habsburgów i sam cesarz austriacki – Franciszek Józef I, kategorycznie sprzeciwiła się związkowi morganatycznemu. Arcyksiążę nie posłuchał i ożenił się z Bertą. W konsekwencji w sierpniu 1911 został wydalony z domu oraz wykreślony z listy oficerów armii. Został również pozbawiony tytułów (m.in. szefa pułku) i orderów oraz wygnany z cesarstwa. Zamieszkał z żoną w Monachium. W ten sposób jako Herr Ferdynand Burg formalnie przestał istnieć dla rodziny.