Za udział w wojnie został awansowany do stopnia majora, a nowojorski Union Club obdarował go honorową szablą.

Gdy rozpadło się jego małżeństwo, niezadowolony z powolnego procesu awansowego w armii, złożył w październiku 1851 rezygnację, wsiadł na statek i wyruszył w podróż dookoła świata. Zwiedził Chiny, Cejlon, a na koniec ponownie zawitał do Francji. W Paryżu Kearny zakochał się z wzajemnością w Agnes Maxwell z Nowego Jorku, ale nie mógł jej poślubić, ponieważ pierwsza żona nie zgodziła się na rozwód. Po powrocie z Europy, w 1854 roku, Kearny doznał obrażeń w wyniku upadku z konia; zaopiekowała się nim Agnes, która wprowadziła się do jego domu. Gdy wyzdrowiał, Agnes i Philip wyjechali z Nowego Jorku, by uniknąć plotek. Osiedli w nowej posiadłości Kearny’ego, Bellegrove, nad brzegiem rzeki Passaic w dzisiejszym hrabstwie Kearny w New Jersey, bardzo blisko jego starej rodowej siedziby w Newark. W roku 1858 żona ostatecznie zgodziła się na rozwód, po którym Kearny i Agnes wyjechali do Paryża i wzięli ślub.