Pałac ten, pełniący funkcję letniej rezydencji, był świadkiem wielu historii i gościł w swych murach wielu znakomitych gości – przebywali tu Ignacy Krasicki, Stanisław Trembecki i Józef Wybicki. W ośmiobocznej, wysokiej na dwie kondygnacje sali balowej młody książę organizował spotkania stanowiące konkurencję dla obiadów czwartkowych swojego wuja – króla Stasia. Starannie zaprojektowana parterowa budowla z mieszkalnym piętrem szczególnie pięknie prezentowała się od strony Narwi. Widok ten utrwalił w 1801 roku na rycinie Zygmunt Vogel. Rezydencja otoczona była kilkuhektarowym parkiem, do pałacu prowadziła wysadzana lipami aleja i reprezentacyjny podjazd w kształcie podkowy. Po rozbiorach majątek przeszedł na własność szambelana królewskiego, prezesa Senatu Księstwa Warszawskiego i Towarzystwa Gospodarczo-Rolnego Ludwika Szymona Gutakowskiego, który stworzył w Górze wzorcowe gospodarstwo rolne. Według niektórych znawców historii Mazowsza gościem Gutakowskich był Wielki Książę Konstanty wraz z żoną. W 1838 Gutakowscy dokonali zamiany terenów wsi Olszewnica, Krubin, Janówek i Góra na tereny w piotrkowskim. Pałac przeszedł na własność rządu rosyjskiego, z przeznaczeniem na siedzibę prawosławnych archirejów, w których posiadaniu znajdywał się do I Wojny Światowej.