Równocześnie jego trudne dzieciństwo – konflikty w rodzinie, brak opieki ze strony rodziców, drastyczne obrazy wojny widziane w Hiszpanii – znalazło następnie odbicie w twórczości, w postaciach cierpiących dzieci. Poznał również podstawy języka hiszpańskiego – jedynego nowożytnego języka obcego, jaki w życiu opanował.
W 1814 dwunastoletni Victor razem z matką i bratem brał udział w powitaniu króla Ludwika XVIII. Matka starała się przekazać mu swoje silnie rojalistyczne poglądy. Rok później w małżeństwie jego rodziców orzeczona została separacja. Opiekę nad synami przyznano ojcu, który oddał Victora i jego braci na naukę na pensji Cordiera, prowadzonej przez dwóch byłych duchownych katolickich. Przyszły poeta nie lubił i nie szanował swoich nauczycieli. W ciągu kolejnych trzech lat Victor niemal nie widywał się z matką. Ojciec pragnął, by najmłodszy syn poszedł w jego ślady i po ukończeniu Szkoły Politechnicznej rozpoczął karierę wojskową. Bracia Hugo byli dobrymi uczniami;