Rodzina, pochodzenie i młodość George Savile urodził się 11 listopada 1633 w Thornhill Hall w Yorkshire jako syn sir Williama Savile'a i Anne Coventry. Jego ojciec, który podczas angielskiej wojny domowej opowiedział się po stronie królewskiej, zmarł w Yorku w 1644. Pierwsze wykształcenie George otrzymał od matki. Następnie uczęszczał do Shrewsbury School, po czym został wysłany za granicę. Przed końcem 1656 osiadł w Rufford. 29 grudnia 1656 poślubił Dorothy Spencer, córkę Henry'ego Spencera, 1. hrabiego Sunderland. Dorothy zmarła w grudniu 1670. W listopadzie 1672 Savile poślubił Gertrude Pierrepont, córkę Williama Pierreponta z Thoresby. Z tego małżeństwa pochodziła córka Elizabeth. Po śmierci George'a tytuł markiza odziedziczył jego syn z pierwszego małżeństwa William Savile. William zmarł bez męskiego potomka 31 sierpnia 1700, wskutek czego markizat Halifax pierwszej kreacji wygasł.