Ziemię pod budowę założenia pałacowego baron nabył w 1874 roku od diuka Marlborough. Aby umożliwić transport materiałów budowlanych na szczyt wzgórza, gdzie powstać miał dom, baron wybudować musiał specjalną drogę. Pierwotnie szczyt wzgórza, na którym obecnie stoi dwór, był niemalże całkowicie pozbawiony drzew. Teren jednakże przekształcono pod okiem architekta krajobrazu Laine’a, który zastosował nowatorską metodę przesadzania w pełni rozrośniętych drzew z innych miejsc poprzez zabezpieczenie chloroformem ich korzeni chloroformem. Aby przetransportować jedno takie drzewo na szczyt wzgórza, potrzebowano do szesnastu koni. Niecałkowicie, jednakże przedsięwzięcie powiodło się i spowodowało, że wzgórze nabrało bajkowego wręcz wyglądu. Ogrody i park dookoła Waddesdon uznano za swoisty cud, ich sława sięgnęła nawet uszu królowej Wiktorii, która pozwoliła się zaprosić, by obejrzeć słynny park. Jak jednakże podają kroniki Waddesdon, królowa okazała się o wiele bardziej zainteresowana elektrycznymi kandelabrami zainstalowanymi w rezydencji.
Wnętrza Waddesdon zostały wykonane ekstrawagancko zgodnie z osiemnastowiecznymi wzorami francuskimi, z pokojami wyposażonymi w historyczne panneau.