XIX wiek W 1801 król Jerzy przekazał White Lodge w dożywotni użytek ówczesnemu premierowi Henry'emu Addingtonowi, od 1805 znanemu jako lord Sidmouth. Po jego śmierci w 1844 rezydencja wróciła pod zarząd królewski. Decyzją królowej Wiktorii została następnie przekazana jej ciotce, księżniczce Marii. Po śmierci Marii w 1857 rezydencja została wybrana przez małżonka Wiktorii, księcia Alberta, jako dogodna rezydencja dla małoletniego następcy tronu, księcia Edwarda, późniejszego króla Edwarda VII. Albert uważał, iż położona nieco na uboczu rezydencja będzie spokojnym miejscem, gdzie Edward, mający skłonności do hulaszczego trybu życia, będzie mógł poświęcić się nauce.
Po wyjeździe Edwarda do Irlandii, gdzie kontynuował edukację, White Lodge zostało wybrane przez królową Wiktorię jako miejsce przeżywania żałoby po śmierci jej matki, księżnej Wiktorii. W 1869 Wiktoria, wówczas pogrążona już w głębokiej żałobie po śmierci męża, przekazała rezydencję w użytkowanie swej kuzynce, księżniczce Marii Adelajdzie i jej mężowi, księciu Franciszkowi.