zamku ryterskiego (co w ówczesnych czasach było niemożliwe, bo zamek był własnością książęcą) broniącego granic państwa od strony Węgier, a jednocześnie stanowiącego komorę celną nad drogą lądową i wodną.
Historia miejscowości datowana jest jednak dopiero od roku 1312, kiedy to przywilejem króla Władysława Łokietka przyznano klaryskom starosądeckim prawo pobierania cła na Popradzie. W okresie świetności zameczku przez Rytro przejeżdżały liczne orszaki królewskie (Władysława Łokietka, Kazimierza Wielkiego, królowej Jadwigi).
Postacią, która niewątpliwie związana jest z Rytrem, jest Piotr Ryterski herbu Topór. Był on żołnierzem, który walczył pod Grunwaldem, pod Koronowem, pod Bardiowem. Objął on we władanie zamek wraz z przyległymi wsiami. Do rodziny Ryterskich zamek i okolice należały do 1502 r.
Do 1770 r. Rytro i okoliczne wsie stanowiły własność królewską i wchodziły w skład starostwa barcickiego.
Pod zaborem austriackim od czerwca 1770 r. Od 1785 r. podlegały Kamerze (Cameral Amt in Alt Sandez), austriackiemu skarbowi państwa. Po 1867 r. były to jednowioskowe gminy Rytro, Sucha Struga, Rostoka i Obłazy.