W czerwcu 1805, w wieku dziewiętnastu lat, Lady Caroline Ponsonby poślubiła Williama Lamba, polityka, późniejszego wicehrabiego Melbourne, premiera Wielkiej Brytanii. Małżeństwo początkowo było szczęśliwe. 11 sierpnia 1807 przyszedł na świat ich syn, George August Frederick, w 1809 córka, która urodziła się przedwcześnie i szybko zmarła. Syn od wczesnego dzieciństwa cierpiał na poważne zaburzenia neurologiczne, przypuszczalnie autyzm. Stres spowodowany złym stanem zdrowia syna, w połączeniu z ambicjami zawodowymi męża, zapoczątkował rozkład małżeństwa.
Romans z Byronem Od marca do sierpnia 1812 roku Lady Caroline przeżywała burzliwy romans z młodszym od niej dwa lata Lordem Byronem. Romans ten skończył się z powodu niewierności Byrona. Pod koniec 1812 mąż wywiózł ją do Irlandii. Mimo zerwania Lady Caroline i Byron przez cały czas pisali do siebie. Wróciła do Londynu w 1813 z nadzieją na kontynuowanie romansu. Znieważona publicznie przez Byrona na balu stłukła kieliszek i próbowała pociąć sobie nadgarstki. Byron pozostał niewzruszony.