W konsekwencji rok później ban Ignjat Gyulay sprzedał żupanii zagrzebskiej stary pałac Zgromadzenia i kupił dom barona Ferdinanda Kulmera w zachodniej części Placu św. Marka, aby uzyskać nowy pałac służący jako mieszkanie banów, siedziba sądów, archiwa dokumentów publicznych i ksiąg królewskich (rejestrów Zgromadzenia). Umowa kupna pałacu spisana została 1 sierpnia 1808 roku. W budynku nie było jednak wystarczająco miejsca na posiedzenia Zgromadzenia, więc zdecydowano, że w pierwszej kolejności będzie to siedziba bana, przez co budynek został nazwany Banska palača, a później Banski dvori. Do początku 1809 roku pałac został odnowiony i rozbudowany oraz zostało w nim ulokowane królewskie archiwum państwowe, sąd bański i krajowy, a także sala obrad Zgromadzenia. W roku 1837 od rodziny Rauch został odkupiony również północny kompleks, północne skrzydło obecnego Pałacu Bana, a po dobudowie zachodniego i rozbudowie północnego skrzydła budynku do tej części przeniosły się sądy. W trakcie swojego urzędowania (1848–1859) w Pałacu Bana mieszkał ban Josip Jelačić, który zmarł tamże. W trakcie trwania jego mandatu, 10 września 1850 do budynku doprowadzony został przewód telegraficzny i tym samym Zagrzeb został połączony siecią telegraficzną z Wiedniem.