Historia mały|left|Fasada na pocztówce z okresu międzywojennego Z. Świstak uznaje kartę podatkową ze Spisu Dóbr Koronnych z 1629 r. za źródło po raz pierwszy wzmiankujące założenie dworskie, które można wiązać z dzisiejszym pałacem. Zgodnie z dokumentem jego twórcą był ówczesny starosta jasielski: „Budowanie nowe przy Goraiowicach. Teraźniejszy Jemć Pan Starosta pubudował nowe budowanie na kształt zameczku. Naprzód wchodząc do bramy iest most y w zwód, na wierzchu baszta, pod nią Izba i Ganki wokoło. Przez podwórze przeszedwszy iest budowanie, w którym Izb cztery wielkich, y komnat dwie w tych izbach okna. Ławy porządnie pobudowane. To budowanie wokoło wałami okopane. Baszty tedy y Parkany nowe”. W Gorajowicach powstał więc ok. 1629 r. dwór obronny – stanowił on siedzibę kolejnych starostów i ich poddzierżawców.