Jego ojciec był wziętym aktorem odnoszącym sukcesy na Broadwayu i częściej niż w domu przebywał na scenie. Wychowaniem zajęła się matka przy pomocy francuskiej niani Jeanne, której Tony zawdzięczał bardzo dobrą znajomość języka francuskiego. Pod nieobecność ojca, matka zaczęła wywierać ogromny wpływ na życie małego Tony’ego. „Stałem się nienormalnie bliski mojej matce” - wspominał w 1983 na łamach magazynu „People”. Motyw silnej więzi matki i syna często powraca w filmach z jego udziałem. W jednym z wywiadów przyznał, że bywał zazdrosny o własnego ojca. Chciał mieć matkę tylko dla siebie. Jednocześnie czuł, że musi się od niej odciąć. Mówił, że łączyła go bliska więź z dominującą matką. I na różnych różnych etapach życia czuł potrzebę uwolnienia się od niej.
Miał pięć lat, gdy we wrześniu 1937 zmarł jego ojciec w wyniku zawału serca. Tony miał ogromne poczucie winy po śmierci ojca. Perkins spędzał czas w otoczeniu kobiet, bliższych i dalszych przyjaciółek jego matki. Z czasem matka zaczęła przekraczać cielesne granice syna. „Ciągle mnie dotykała i pieściła. Nie zdając sobie sprawy, jaki efekt wywierała na dorastającym chłopcu” – wspominał. Jako nastolatek zaczął silniej odczuwać brak ojca. Uczęszczał do szkoły dla chłopców Buckingham Browne & Nichols School w Cambridge w Massachusetts.