Na wyspę można było łatwo się dostać łodzią wiosłową zarówno z Pałacu Marmurowego, jak i położonego nieco dalej pałacu Charlottenburg w Berlinie. By umożliwić wypoczynek po takiej przeprawie, król postanowił wybudować na wyspie niewielki pałac. Ponadto Fryderyk Wilhelm II pozostający w długoletnim intymnym związku z Wilhelminą Encke pragnął odosobnionego miejsca, gdzie mógłby bez przeszkód spędzać czas ze swoją faworytą. Z pewnością nie bez znaczenia pozostawał fakt, że król, już jako trzynastoletni młodzieniec wybierał się na romantyczne wypady z Wilhelminą, właśnie na Pawią Wyspę. Ich związek przetrwał wiele innych miłostek króla, a także jego dwa małżeństwa zawarte z powodów politycznych i trwał aż do jego śmierci w 1797. W 1796 Fryderyk zdążył nadać kochance tytuł hrabiny von Lichtenau. Zarówno król, jak i Wilhelmina byli bezpośrednio zaangażowani w projektowanie pałacu.