Za czasów Tęczyńskich Rytwiany stały się prawdziwym dworem magnackim i przeżywały najświetniejszy okres w swojej historii. W 1621 roku Jan Tęczyński sprowadził do Rytwian zakon kamedułów, któremu ufundował także klasztor i kościół. Wieś położona w powiecie sandomierskim województwa sandomierskiego wraz z folwarkiem wchodziła w 1662 roku w skład majętności rytwiańskiej Łukasza OpalińskiegoJacek Pielas, Podział latyfundium Łukasza Opalińskiego, marszałka nadwornego koronnego z lat 1668-1670, w: Inter maiestatem ac libertatem. Studia z dziejów nowożytnych dedykowane Profesorowi Kazimierzowi Przybosiowi, red. J. Stolicki, M. Ferenc, J. Dąbrowski, Kraków 2010, s. 159.. W 1819 roku przeniesiono ich do Warszawy, a kościół klasztorny służy nielicznym okolicznym mieszkańcom jako kościół parafialny.
Na przełomie XIX i XX wieku rodzina Radziwiłłów wybudowała we wsi własną rezydencję. W 2005 roku pałacyk, będący własnością Elektrowni Połaniec został wyremontowany i przeznaczony na hotel.
12 sierpnia 1893 roku w Rytwianach urodził się pułkownik dyplomowany piechoty Andrzej Liebich.