W latach 1470–1480 Graboszyce należały do Jana Strzesza herbu Kiczka (był on sędzią zatorskim) i Jana Rudzkiego herbu Pilawa. Z 1476 r. mamy zapiskę, w której figurują: Zofia Konradowa z Graboszyc, jej syn Mikołaj, a także zięć Matys i córka Marusia oraz ich dzieci. Przez długi czas Graboszyce należały do rodziny Brandysów przybyłej z Czech. Pod koniec wieku XV i z pocz. XVI pojawia się wzmianka o Klemensie Brandysie z Graboszyc (także z Radoczy i Brzezinki) herbu Radwan, w latach 1484–1486 krajczym królowej Elżbiety, w 1487 r. rzekomym krajczym królewskim, zaś w latach 1492–1494 starostą chęcińskim, a w 1505 r. sędzim zatorskim. W latach 1518–1556 właścicielem Graboszyc był Aleksander (Aleksy) Brandys, podstarości zatorski i oświęcimski. Około 1565 r. Graboszyce należały do Dziwisza (Dionizego) Brandysa, dworzanina i sekretarza królewskiego. W latach 1570–1580 wzniósł on (czy też raczej rozbudował i przebudował) dwór, który można identyfikować z dzisiejszym dworem. Ostatni z Brandysów dziedzic na Graboszycach, Piotr, syn Dziwisza, pisarz oświęcimski, sprzedał je w 1626 r., Cichockim z Wojsławic. W 1700 r.