Pierwszym udokumentowanym właścicielem wsi był w XIII wieku Piotr Bogoria ze Skotnik. Na przestrzeni wieków kolejnymi właścicielami byli: biskup Mikołaj z Kurowa, biskup krakowski Wojciech Jastrzębiec, Jan Rytwiański, Mikołaj Kurozwęcki, Hieronim Łaski, Marcin Zaborowski, Tęczyńscy, Opalińscy, Lubomirscy, Potoccy i Radziwiłłowie.
Biskup krakowski Wojciech Jastrzębiec zlecił wybudowanie w Rytwianach zamku obronnego w stylu gotyckim. Zamek wzniesiono w rozlewiskach rzeki Czarnej w latach 1420–1436. Służył on kolejnym właścicielom wsi i w pierwszej połowie XIX wieku nadal był użytkowany, pomimo częściowej ruiny. W 1629 roku właścicielem wsi w powiecie sandomierskim województwa sandomierskiego był Jan Magnus TęczyńskiWłasność ziemska w powiecie sandomierskim w roku 1629, w:Przegląd Nauk Historycznych 2012, r. XI, Nr 2, s. 51.. Warownię, zniszczoną w 1657 roku przez wojska księcia siedmiogrodzkiego Rakoczego, częściowo odbudowano, a w 1859 roku rozebrali ją Potoccy na materiał budowlany. Po zamku pozostał już tylko fragment (narożnik) jednej z baszt, wysoki na trzy piętra.