Raciborowice zostały założone około roku 1200 przez kolonistów niemieckich jako wieś na prawie magdeburskim. Po raz pierwszy wzmiankowane jako Hartmanni villa w 1268. W dalszym okresie wieś stanowiła posiadłość rycerską. W miarę rozwoju wieś podzieliła się na część górną (obecne Raciborowice Górne) i część dolną (obecne Raciborowice Dolne). Pierwszym znanym właścicielem folwarku był w 1468 Jonne von Redern, natomiast pierwszym znanym dziedzicem był w 1491 Krzysztof Rupprecht. W 1492 odnotowano istnienie kamieniołomu we wsi. W latach 1496–1654 wieś była własnością rodu von Zedlitz. We wsi powstał renesansowy Górny Dwór, którego budowę ukończono w 1540. Następnymi właścicielami był ród von Schellendorf, a kolejnym ród von Frankenberg, w którego rękach pozostawał do roku 1852. W okresie wojny trzydziestoletniej wieś nie została zniszczona.
W latach 1802–1805 Raciborowice Górne zostały podzielone na 50 osobnych parceli, a dwór, podzielony na niezależne części, zamieszkiwało sześciu różnych właścicieli, w wyniku czego szybko popadł w ruinę.