Szerzyńscy chłopi jednak nie zamordowali członków rodziny Kochanowskich, gdyż doznali wiele dobra ze strony dworu. Natomiast niesławnie wyróżniali się w tym czasie chłopi z Ołpin, Żurowej i Binarowej, których tłumy napadły na dwór w nocy z 20 na 21 lutego 1846 roku. Zrabowali siedzibę dziedzica, zabudowania gospodarcze i gorzelnię. Istnieje anegdota, że chłopi rabując dwór, oszczędzili portret babki Kochanowskiego – hrabiny Goluchowskiej, którą z powodu mocno wypudrowanej fryzury uznali za świętą i kazali powiesić jej wizerunek w miejscowym kościele.
W czasie rabacji zniszczono zboże w dworskich spichlerzach, co sprawiło, że nie było czym obsiać pól. Rzecz jasna, pociągnęło to za sobą klęskę głodu. Ludzie jedli wszystko: plewy, główki lniane, korę z drzew. Po polach gniły nieuprzątnięte trupy. Wywołało to epidemię cholery i tyfusu. Te zakaźne choroby zebrały krwawe żniwo – w samych Szerzynach zmarło wtedy ponad 400 osób, które pochowano na dwóch cmentarzach, zwanych cholerycznymi.