Longwood House, położony na płaskowyżu, umożliwiał łatwiejszą obserwację, ale był stale narażony na pasaty, często spowity mgłą i wilgocią, z nagłymi zmianami ulewnego deszczu i palącego słońca. 10 grudnia 1815 roku Napoleon ostatecznie osiedlił się w swojej ostatniej rezydencji pod nadzorem tymczasowego gubernatora, admirała George’a Cockburna.
Samotność w Longwood House Napoleon był pod stałym nadzorem. Początkowo spodziewał się, że będzie traktowany jak dostojny gość. Jednak wkrótce zdał sobie sprawę, że tak nie będzie i został poddany licznym upokorzeniom z rąk Hudsona Lowe’a, nowego gubernatora wyspy, którego poznał po raz pierwszy 17 kwietnia 1816 roku. Między Napoleonem a Lowe’em pojawiły się napięcia. Zgodnie z instrukcjami brytyjskiego rządu Lowe odmówił uznania Napoleona za cesarza, a nawet „generała Bonaparte”. Zamiast tego zwracał się do niego Napoleon Bonaparte, usuwając „u” w Buonaparte, oryginalnym nazwisku Napoleona.