Dzieciństwo i młodość Na temat dzieciństwa Waltera wiadomo bardzo niewiele, nieznana jest nawet data jego urodzenia. Był najstarszym z dwójki dzieci Waltera V, hrabiego Brienne oraz Joanny, córki Gauchera (Waltera) V de Chatillon, konstabla Szampanii. Miał również młodszą siostrę, Izabelę.
W 1308 roku jego ojciec objął władzę nad Księstwem Aten, ale już w następnym roku poległ w bitwie przeciw Kompanii Katalońskiej nad rzeką Kefissos. Zwycięzcy zajęli Księstwo Aten, jednak Joannie udało się zbiec, razem z Walterem i Izabelą, na dwór Andegawenów w Neapolu. Na wygnaniu wdowa po księciu Aten, wraz ze swoim ojcem, starała się stworzyć silną koalicję, która pomogłaby jej przywrócić Waltera, będącego wtedy kilkuletnim dzieckiem, na tron ateński. Zyskali poparcie króla Neapolu Roberta I Mądrego oraz papiestwa, wtedy z siedzibą w Awinionie. Wsparcia szukali również u Wenecjan, którzy jednak odmówili udzielenia im pożyczki i przekazania statków, o które prosili.
Wkrótce rodzina znajdująca się na wygnaniu popadła w spore długi.