W 1823 został wraz z Adamem Mickiewiczem i innymi członkami Zgromadzenia aresztowany przez władze carskie i uwięziony w klasztorze bazylianów w Wilnie, w którym przebywał do 1824 roku. Po wypuszczeniu z aresztu w jego kwaterze w Wilnie zbierali się Adam Mickiewicz, filolog Józef Jeżowski, prawnik Franciszek Malewski, matematyk Wincenty Budrewicz i inniJerzy Borowczyk, Rekonstrukcja procesu filomatów i filaretów 1823-1824: historia śledztwa przeciw uczestnikom konspiracji studenckich i młodzieżowych w Wilnie oraz w Wileńskim Okręgu Naukowym, Wyd. Nauk. Uniwersytetu im. Adama Mickiewicza w Poznaniu, Poznań 2003.
Spisał “Siva rerum”, których fragmenty zostały opublikowane w 1894 roku we Lwowie w zbiorze zatytułowanym “Wspomnienia polskich czasów dawnych i późniejszych”, wydanym przez Eustachego Iwanowskiego (1813-1903). Jak pisał wydawca tych wspomnień, Eliasz Ostaszewski był to “znakomitszy obywatel guberni wołyńskiej”, który “staroświeckim obyczajem spisywał współczesne fakta, wrażenia swoje i o polskich książkach przeczytanych uwagi”Helleniusz (Eustachy Iwanowski), Wspomnienia polskich czasów dawnych i późniejszych, Lwów 1894, t. 2, s.