Po upadku Napoleona w kwietniu 1814 i restauracji Burbonów, Bertrand razem z cesarzem wyjechał na Elbę, gdzie wykonywał, tytularne raczej, obowiązki ministra spraw wewnętrznych. Podczas tzw. „100 dni” wrócił z Napoleonem do Francji i wziął udział w bitwie pod Waterloo (1815). Po klęsce i ostatecznej abdykacji Napoleona, Bertrand udał się wraz z cesarzem na wygnanie na Wyspę Świętej Heleny, gdzie towarzyszył Bonapartemu aż do jego śmierci (5 maja 1821). Tam stał się powiernikiem cesarza, notując jego wspomnienia. Na wyspie Bertrand pełnił obowiązki marszałka dworu, choć mieszkał w osobnym budynku, w przeciwieństwie do innych osób towarzyszących cesarzowi, jak np. generał Gaspard Gourgaud, czy hrabia Charles Montholon (oskarżany później o otrucie Napoleona)Waldemar Łysiak, Empirowy pasjans, wyd. 1977, str. 343..
Po śmierci Napoleona Bertrand wrócił do Francji (październik 1821), gdzie został ułaskawiony, bowiem ciążył na nim wyrok śmierci wydany w 1816, po powrocie Bourbonów. Po rewolucji lipcowej został komendantem École polytechnique (listopad 1830), był deputowanym z rodzinnego Indre do parlamentu, w 1834 wycofał się z życia publicznego. Kilka lat przebywał na Martynice, skąd pochodziła rodzina jego żony, gdzie został gubernatorem wyspy.