Życie prywatne 29 stycznia 1756 r. w Londynie poślubił Anne Liddell (1738 – 24 lutego 1804), córkę sir Henry’ego Liddella, barona Ravensworth, i Anne Delmé, córkę sir Petera Delmé. Augustus i Anne mieli razem dwóch synów i córkę: George Henry FitzRoy (14 stycznia 1760 – 28 września 1844), 4. książę Grafton generał Charles FitzRoy (14 lipca 1764 – 20 grudnia 1829), ożenił się z Frances Mundy i lady Frances Anne Stewart, miał dzieci (m.in. Charlesa Augustusa i Roberta) Georgiana FitzRoy (1768 – 18 stycznia 1799), poślubiła Johna Smytha i miała dzieci
23 marca 1769 r. małżeństwo Augustusa i Anne zostało unieważnione. 24 czerwca tego samego roku w Woburn Abbey (Bedfordshire) poślubił Elisabeth Wrottesley (1 listopada 1745 – 25 maja 1822), córkę sir Richarda Wrottesleya, 7. baroneta. Augustus i Elisabeth mieli razem dwóch synów i cztery córki: Elisabeth FitzRoy (zm. 30 marca 1839), poślubiła generała-porucznika Williama FitzRoya, nie miała dzieci Augusta FitzRoy (zm. 29 czerwca 1839), poślubiła G.F. Tavela, miała dzieci Henry FitzRoy (9 kwietnia 1770 – 7 czerwca 1828), poślubił Caroline Pigot, miał dzieci Frances FitzRoy (1 czerwca 1780 – 7 stycznia 1866), żona Francisa Spencera, 1.