Z żoną, kasztelanką santocką Józefą Kunegundą Komorowską (siostrą Gertrudy), miał dziesięcioro dzieci: Marię Ewę (1777-1860), żonę wojewodzica bełskiego Adama Potockiego Helenę (1777-1829), żonę rosyjskiego generała Ferdynanda Wintzingerode Teklę (1778-1816) Jana Tadeusza (1779-1853), pułkownika wojsk polskich Franciszka, zm. w dzieciństwie Anielę (1783-1842), żonę Jana Antoniego Drohojowskiego Stefana (1784-1866), marszałka szlachty gubernii augustowskiej Zofię (1787-1873) Antoninę, zm. przy narodzinach Kaliksta, zm. przy narodzinach mały|lewo|300px|Dwór Ryxów w Prażmowie pod Warszawą (wybudowany w I poł. XIX w.), stojący w miejscu dawnej (zapewne drewnianej) siedziby kasztelanica Andrzeja Rostworowskiego Używał tytułu hrabiowskiego, z którym jego żona została wpisana (jako hrabina Rostworowska) do austriackiego patentu przyznającego ten tytuł swojemu ojcu, Jakubowi Komorowskiemu – on sam jednak nie zdołał uzyskać takowego u władz austriackich ze względu na zbyt późne starania oraz „żadnych szczególnych zasług dla austriackiego państwa”.
Przypisy
Bibliografia biogram Andrzeja Rostworowskiego (autorstwa Jerzego Koweckiego) w Polskim Słowniku Biograficznym, t.