W czasie III wojny północnej, w 1708, w pobliżu wsi maszerowały wojska Karola XII. W Olszewce kolumna królewska idąca od Chorzel złączyła się z resztą wojska maszerującą od strony Przasnysza. Na przełomie 1769 i 1770 w rejonie wsi Olszewka, Rachujka, Zaręby, Brodowe Łąki i Parciaki koncentrowała się partia Józefa Sawy-Calińskiego. 3 listopada 1771 konfederaci barscy stoczyli w Olszewce bitwę z wojskami rosyjskimi.
Wedle informacji z wizytacji parafii chorzelskiej (1781) Olszewka była trzecią co do wielkości wsią w parafii. Istniała tu jedna z 3 szkół w parafii Chorzele (pozostałe w Chorzelach i Jednorożcu). Wieś oddawała 10 złotych dziesięciny. Na przełomie roku 1799 i 1800 w Olszewce stało 58 domów.
W tym czasie wybuchł spór między mieszkańcami puszczańskich wsi starostwa przasnyskiego a pruskimi władzami. Starania mieszkańców m.in. Olszewki nic nie dały, Prusacy nie szanowali przywilejów bartnych i zmuszali Puszczan do udziału w rabunkowej gospodarce leśnej. W 1802 sołtysem wsi był Józef Pogorzelski.
W 1815 we wsi istniały 62 domy, które zamieszkiwały 333 osoby (164 mężczyzn i 169 kobiet). Olszewka była drugą najludniejszą wsią w ekonomii Przasnysz (po Jednorożcu). W 1816 w pobliżu wsi otwarto kopalnię bursztynu. Znajdowano go jeszcze co najmniej przez 100 lat.