Ulubiona siostra lady Caroline, Emilia Lennox, wyszła w 1747 za lorda Kildare'a i zamieszkała w Irlandii. W latach 1750–1751 umarli rodzice lady Caroline, pozostawiając trzy nieletnie córki (8-letnią Louisę, 6-letnię Sarę i 3-letnią Camillę). Książę nigdy nie pogodził się z małżeństwem swej najstarszej córki. Wypomniał jej to w testamencie i przekazał opiekę nad dziewczynkami lady Kildare. Lady Caroline była tym zawiedziona, ale liczyła, że odkupi winy przedstawiając młodsze siostry na dworze królewskim i pomagając im zawrzeć korzystne małżeństwa. Doszło na tym tle do sporu z Kildare'ami, którzy zarzucali lady Caroline żenujący sposób przedstawienia lady Sary na dworze i doprowadzenie do jej małżeństwa z Charlesem Bunburym. Caroline i Emily pokłóciły się na tym tle i zerwały ze sobą wszystkie kontakty.