W pierwszych miesiącach 1818 roku generał Gourgaud był zmuszony pożegnać się z Longwood House, ponieważ oddalił się od Napoleona. Następnie, w lipcu 1819 roku, kochanka Napoleona, Albine de Montholon, wróciła do Europy ze wszystkimi swoimi dziećmi. W miarę jak Longwood House stopniowo pustoszał, pojawił się wszechobecny letarg. We wrześniu 1819 roku przybyła mała grupa nowych towarzyszy, głównie Korsykanów przesiedlonych z Włoch przez rodzinę Bonaparte, co na krótko przerwało panującą monotonię, lecz w dłuższej perspektywie nie spełnili oczekiwań Napoleona ani jego najwierniejszych towarzyszy.
Nuda, godzina policyjna i niezdrowy klimat sprawiły, że Napoleon stopniowo ograniczył spacery, czy to pieszo, konno, czy powozem. Następnie przeniósł się całkowicie do Longwood House, gdzie egzekwował cesarską etykietę i utrzymywał wysoki standard życia, szacowany na 19 000 funtów szterlingów rocznie. Napoleon większość czasu spędzał w sypialni lub łazience, a nie w gabinecie, co przyczyniało się do jego rosnącej otyłości. Pomimo okoliczności, były cesarz trzymał się nadziei, że zmiana w brytyjskim rządzie mogłaby ułatwić mu spokojne zamieszkanie w Anglii lub dołączenie do brata Józefa w Ameryce. Cieszyło go poparcie Brytyjskiej Partii Wigów, która postrzegała go jako sukcesora rewolucji.