8 lipca 1815 r. poślubił szwagierkę swojej pierwszej żony, Harriet Hamilton z domu Douglas (1792–1833), wdowę po lordzie Hamiltonie, córkę Johna Douglasa i lady Frances Lascelles, córki 1. hrabiego Harewood. Małżeństwo to nie było szczęśliwe. Aberdeen wyraził się pewnego razu o żonie, że jest ona "z całą pewnością jedną z najgłupszych osób, jakie kiedykolwiek spotkałem" (certainly one of the most stupid persons I ever met with). George i Harriet mieli razem czterech synów i córkę: George John James Hamilton-Gordon (1816–1864), 5. hrabia Aberdeen Alexander Hamilton-Gordon (1817–1890), generał Frances Hamilton-Gordon (ok. 1818–1834) Douglas Hamilton-Gordon (1824–1901), kapelan królowej Wiktorii, ożenił się z lady Ellen Douglas, miał dzieci Arthur Hamilton-Gordon (1829–1912), 1. baron Stanmore
Gabinet lorda Aberdeena, grudzień 1852 – styczeń 1855