Prywatnie słynął z zamiłowania do pięknych kobiet i choć był żonaty z jeszcze piękniejszą, „powszechnie znaną tajemnicą” była jego homoseksualnośćRaymond-Jean Frontain: Porter, Cole (1891–1964), glbtq. Największą miłością jego życia był rosyjski poeta, tancerz i librecista Boris Kochno, z którym żył w Paryżu w latach dwudziestych. Pozostawał też w dłuższych związkach z choreografem Nelsonem Barcliftem (dla którego napisał You’d be so nice to come home to), architektem Edem Tauchem czy Bostończykiem Howardem Sturgesem. Mimo jego związków z mężczyznami małżeństwo z Lindą było szczęśliwe i oparte na wzajemnym szacunku i przyjaźni. Dopiero w Hollywood, gdzie homoseksualizm stawał się coraz bardziej otwarty, ich związek zaczął przeżywać kryzys. Para rozstała się pod koniec lat 30.
Wypadek i ostatnie lata W październiku 1938 udał się na przejażdżkę konną. Koń się spłoszył i przewrócił w pędzie, miażdżąc obie nogi kompozytora i pozostawiając w chronicznym bólu do końca życia. Lekarze powiedzieli Lindzie, która zdecydowała się wrócić i opiekować mężem, że jego prawa noga powinna być amputowana, ale ta nie wyraziła zgody. Porter przeszedł więc ponad 30 operacji, a ciągły ból i bezsenność doprowadziły go do stanów głębokiej depresji. Nie stracił jednak humoru, ani chęci pracy.