Z dniem 1 listopada 1939 do III Rzeszy wcielono północną część województwa warszawskiego, w tym powiat przasnyski i wieś Olszewkę jako część Rejencji Ciechanowskiej w prowincji Prusy Wschodnie. Gdy w 1944 przywrócono przedwojenną administrację, Olszewka należała do powiatu przasnyskiego i województwa warszawskiego. W 1954 zlikwidowano gminy i zastąpiono je gromadami. Olszewkę przypisano do gromady Olszewka. W latach 1962–1972 wieś należała do gromady Parciaki. Gromadę Olszewka zniesiono, bo nie uważano jej za przyszłościową. W 1973 przywrócono istnienie gminy Jednorożec, do której ponownie należała Olszewka. W latach 1975–1998 miejscowość administracyjnie należała do województwa ostrołęckiego. Od 1999 Olszewka znajduje się w gminie Jednorożec w powiecie przasnyskim i województwie mazowieckim.
Części wsi W użyciu są nazwy miejscowe określające części wsi, np.