Dość niekonwencjonalnie układało się życie matrymonialne hrabiego Rogera. W latach 40. XIX wieku poznał księżną Zenaidę z Hołyńskich Lubomirską, z którą miał romans. Gdy księżna zaszła w ciążę i było jasne, że dziecka nie uzna jej ślubny mąż, hrabia Roger zawarł fikcyjne małżeństwo z Marią Gottschall, która zgodziła się uznać dziecko za swoje własne, pod warunkiem dożywotniej pensji i brak obowiązku zajmowania się nim. Wszystko przebiegło jak zaplanowano i choć sytuacja była tajemnicą poliszynela, oficjalnie syn hrabiego Rogera i księżnej Lubomirskiej Edward Aleksander Raczyński figurował jako syn Marii Gottschall.
Całą tę sytuację przyjął z wielkim niesmakiem jego stryj Atanazy Raczyński I Ordynat na Obrzycku. Gdy i tak nielubiany Edward Aleksander Raczyński wzorem ojca zasłynął z perypetii, odsunął go od dziedziczenia ordynacji i przekazał ją linii kurlandzkiej.
Hrabia Roger Maurycy Raczyński był dwukrotnie żonaty, najpierw z Marią Gottschall, potem z Konstancją Lachman (było ono bezdzietne).