Od kwietnia 1943 r. do wsi napływali uchodźcy z sąsiednich wsi, chroniąc się przed mordami UPA. Pozwoliło to zwiększyć liczebność oddziału samoobrony do 250 osób. W jego szeregi wstąpiło też 5 byłych sowieckich żołnierzy, szukających w Rybczy schronienia przed UPA. W czerwcu 1943 r. AK przysłała do wsi wachmistrza Henryka Butyńskiego ps. Kobryń, który objął dowództwo nad całością obrony.
Obrońcy borykali się z licznymi problemami. Odczuwalny był brak broni – wyszukiwano ją na pobliskich pobojowiskach, kupowano od Niemców i Węgrów za żywność. Wystarano się także oficjalną drogą u Niemców w Krzemieńcu o karabiny, argumentując to koniecznością obrony przed Ukraińcami. Ponadto w związku z przeludnieniem i brakiem odpowiednich warunków higienicznych, we wsi wybuchła epidemia tyfusu i czerwonki, w wyniku której zmarło kilka osób. Sytuację udało się opanować dzięki staraniom Komitetu Opieki nad Uchodźcami. Jego przedstawicielka, Irena Sandecka, udzieliła wydatnej pomocy w polepszeniu warunków sanitarnych.
Upowcy, wiedząc o zorganizowanej obronie, starali się poznać siły samoobrony, wysyłając do wsi szpiegów. Od lipca uchodźcy przynosili wieści o przygotowywanym ataku, w związku z czym wykopano dodatkowe okopy i bunkry.
thumb|right|200px|Tablica Grobu Nieznanego Żołnierza w Warszawie wymieniająca Rybczę