Pozostałości tego dworu zachowały się w piwnicach obecnego pałacu z przełomu XIX/XX w.
Dwór był kolejno siedzibą rodów ziemskich Piegłowskich, Piotrowskich, Trzecieskich, Łętowskich i Riegerów jako właścicieli gorajowickiego folwarku. Pod koniec XIX w. majątek kupił Tadeusz Sroczyński, działacz i przemysłowiec naftowy. W latach 1901–1945 właścicielami wsi byli Marian i Izabela Sroczyńscy, którzy jako bezdzietni nie pozostawili po sobie spadkobierców. Dziedzic gorajowicki był ojcem chrzestnym bohatera narodowego mjra Henryka Dobrzańskiego „Hubala”, który przyszedł na świat w Jaśle w 1897 roku (). Neogotycki pałac Sroczyńskich zbudowany został .
Czasy współczesne Po wojnie na terenie majątku dworskiego utworzono państwowe gospodarstwo rolne (PGR). Pałac przekształcono w latach czterdziestych na siedzibę NKWD, później UB, a następnie na szpital. Po wybudowaniu nowego budynku szpitala w pałacu znajduje się Zespół Szkół Medycznych. Powstała też dzielnica domków jednorodzinnych. W Gorajcu zaś została ufundowana kapliczka przez rodzinę Sroczyńskich (obecnie znajduje się w tamtejszych lasach). W latach 1990–2000 powstało też osiedle bloków Jasielskiej Spółdzielni Mieszkaniowej. Na wzgórzu w Gorajowicach znajduje się też nadajnik Radia FAN.