Dzieci pozostały na monakijskim dworze.
W marcu 1936 doszło do nagłośnionego konfliktu pomiędzy Pierre’em a Ludwikiem o prawa do opieki nad 15-letnią wówczas księżniczką Antoinettehttps://news.google.com/newspapers?nid=1961&dat=19360330&id=4motAAAAIBAJ&sjid=bYsFAAAAIBAJ&pg=5887,4439573&hl=en. Polignac nie chciał się zgodzić, by dziewczyna była wychowywana przez ówczesnego partnera i ewentualnego narzeczonego swojej matki, włoskiego markiza Carla Strozziego. W maju miało dojść do porwania Antoinette przez ojca, który według francuskich przepisów miał prawo do opieki na swoim dzieckiem przez cały rok (Rainier i Antoinette jedynie wakacje mieli spędzać w towarzystwie matki).
Kontakty ojca z synem znacznie się poprawiły po kilku latach, kiedy utrzymywali ze sobą kontakt listowny (przerwany na czas II wojny światowej). Księżniczka Antoinette nie chciała jednak z nim rozmawiać, oskarżając go o egoizm w sprawie szkoły jej brata. W 1944 księżna Valentinois zrezygnowała ze swoich praw do monakijskiego tronu na rzecz księcia Rainiera. Obawiała się, że katoliccy Monakijczycy nie zaakceptują rozwiedzionej władczyni, na dodatek pochodzącej ze związku pozamałżeńskiego. W 1949 zmarł książę Ludwik i nowym panującym został książę Rainier.