Arcyksiążę austriacki biskup Karol Habsburg postanowił wprowadzić w życie swoje pomysły i prawdopodobnie rozpoczął w 1620 roku budowę rezydencji, która miała być niezależna od zamku. Jednakże jego śmierć w 1624 roku przekreśliła na długi czas te plany.
Tragiczne skutki wojny trzydziestoletniej sprawiły, że kontynuację rozpoczętego dzieła podjęto dopiero w latach sześćdziesiątych XVII wieku. Ten pierwszy etap budowy zakończył się około 1680 roku. Powstało wówczas skrzydło północno-wschodnie, północno-zachodnie i część południowo-wschodniego.
Według początkowego założenia pałac miał mieć kształt podkowy, złożonej z trzech jednakowych, dwupiętrowych skrzydeł. Wkrótce jednak zmieniono te projekty. Postanowiono powiększyć powierzchnię użytkową budynku, a także nadać mu nowocześniejszy i bardziej monumentalny wygląd. W latach 1722–1729 dobudowano z fundacji biskupa Franciszka Ludwika von Neuburg, zgodnie z projektem jezuickiego architekta Krzysztofa Tauscha, czwarte skrzydło (południowo-zachodnie) i część skrzydła południowo-wschodniego, które zamykały czworobok. Pracami w tym drugim etapie kierował najpierw Michał Klein, a następnie Antoni Feliks Hammerschmidt.