Rodzina i edukacja Urodziła się 13 grudnia 1989 w Reading w Pensylwanii. Jest córką i jego żony, Andrei Gardner z domu Finlay, którzy pobrali się w 1988 i rozwiedli w 2011. Jej babka, Marjorie Finlay, była śpiewaczką operetkową i musicalową. Ma korzenie szkockie, niemieckie i włoskie. Otrzymała imię na cześć piosenkarza Jamesa Taylora, ale też dlatego, że jej matce zależało, by córka nosiła imię neutralne płciowo. Pochodzi z majętnej rodziny – ojciec jest doradcą finansowym i był założycielem Swift Group zajmującej się bankowością inwestycyjną, a matka przed porzuceniem kariery zawodowej na rzecz zajmowania się domem pracowała jako dyrektorka ds. marketingu w agencji reklamowej. Ma młodszego brata, Austina (ur. 1993). Określa siebie jako chrześcijankę. Kiedy była dzieckiem, mieszkała na 11-akrowej farmie choinek na przedmieściach Reading. Chodziła do przedszkola w Alvernia Montessori School prowadzonego przez siostry bernardynki, a później do prestiżowej Wyndcroft School w Pottstown (Pensylwania). W 1997 przeniosła się z rodziną do , gdzie uczęszczała do szkoły podstawowej i średniej. Wakacje spędzała w Stone Harbour w New Jersey, gdzie znajdował się drugi dom rodziców.