Przyjaźń ta okazała się dozgonna i wymownie podkreślona, kiedy to właśnie Filip Koburg-Koháry wraz z kamerdynerem Johannem Loschekem odnalazł martwych Rudolfa i jego kochankę Marię Vetsera w pałacu myśliwskim w Mayerling.
4 lutego 1875 w Brukseli Filip poślubił swoją kuzynkę Ludwikę (1858–1924), królewnę Belgów, córkę Leopolda II i Marii Henryki Habsburżanki. W 1896 małżeństwo uległo rozpadowi, kiedy to Ludwika odeszła od męża i związała się ze swoim wieloletnim kochankiem, Gézą Mataciciem-Kegleviciem (1867–1923). W 1898 Filip Koburg-Koháry uzyskał wyłączne prawa rodzicielskie nad dwójką dzieci, pochodzącymi z małżeństwa. W tym samym roku na wyraźne polecenie cesarza Franciszka Józefa I, Filip Koburg-Koháry stoczył pojedynek ze swoim rywalem, z którego obaj wyszli bez większych ran. 15 stycznia 1906 związek uległ rozwodowi. Małżeństwo Ludwiki i Filipa spłodziło dwoje dzieci:
Leopold Klemens (1878–1916) Dorota Maria (1881–1967) ⚭ Ernest Günter Oldenburg (1863–1921), tytularny książę Szlezwiku-Holsztynu.
Po rozwodzie Filip Koburg-Koháry przeniósł się wraz z dziećmi do pałacu Bürglaß w Coburgu, gdzie zmarł w 1921. Został pochowany w kościele św. Augustyna. Spadkobiercą majątku i tytułu książęcego został jego bratanek Piotr August (1866–1934).