Niektórzy przychylają się do zdania, że deformacja stopy, która mogła silnie wpłynąć na psychikę Talleyranda, była defektem genetycznymR.Harris, op.cit., s. 14–15.. Bez względu na to jaka jest prawda, historia zapamiętała go jako „kulawego diabła”.

W 1758 roku służący w marynarce stryj Talleyranda postanowił poznać wychowywanego na przedmieściach Saint-Jacques bratanka. Znalazł go zapomnianego i zaniedbanego u opiekunki, skąd zabrał do salonu jego matki, publicznie wyrażając swoje zdanie o tym, w jakich warunkach wychowuje się dziedzic tak szlachetnego rodu. W wyniku tego zajścia postanowiono wysłać Charles’a-Maurice’a do zamku w Chalais, do jego prababki Marie-Françoise de Rochechouart-Mortemart, córki diuka de Mortemart i wnuczki Colberta. Na jej dworze, przeniesionym wprost z epoki Ludwika XIV, u którego służyła, Talleyrand poznał reguły dworskiego życia. W swoich pamiętnikach wspominał ten okres jako najszczęśliwszy w swoim życiu. Talleyrand spędził w Chalais 2 lata, po czym we wrześniu 1760 roku wrócił do Paryża. Po latach napisał, że od razu po przybyciu do Paryża wysłano go do kolegium d’Harcout, co jednak było kłamstwem.