Ibleto di Challant rozpoczyna prace przebudowy zamku przeistaczając prymitywną twierdzę w kompleksowy i elegancki dwór szlachecki na styl gotycki, składający się z szeregu budynków i wież otoczonych murem. Po jego śmierci (1409) zamek dziedziczy, syn Ibleta – Francesco di Challant, otrzymując jednocześnie tytuł Pierwszego Hrabiego di Challant. Śmierć Francesca w 1442 roku i brak męskiego potomka, powoduje walkę o dziedziczenie majątku, pomiędzy córką Francesca – Cateriną a kuzynem Giacomo di Challant Aymavilles. Według zwyczajów valdostanów, wykluczało się dziedziczenie dóbr przez kobiety. Po latach waśni, w 1456 r. zamek i przyległe posiadłości ziemskie przechodzą w posiadanie kuzyna, który zostaje Drugim Hrabią di Challant i nowym Panem Issogne. Około roku 1480, Luigi di Challant – syn Giacomo – rozpoczyna restrukturyzację zamku, ale jego przedwczesna śmierć w 1487 roku niweczy wszystkie plany związane z przebudową. Prawnym opiekunem małoletnich synów Luigiego oraz całego majątku, powołany został Giorgio di Challant – Varèy, który ukończył przebudowę zamku przeobrażając go w rezydencję reprezentującą prestiż rodziny Challant. Karierę duchownego rozpoczął studiując na uniwersytetach w Lyonie, Avinionie i Rzymie. W 1468 roku zostaje nominowany przeorem Kolegiaty San Orso w Aoście.