Większość swoich dzieł napisał jednak w latach 1800–1815 podczas pobytu w Osowej.

Jego najsłynniejszym utworem jest pieśń hymniczna Pieśń narodowa za pomyślność króla (1816) napisana na zamówienie wielkiego księcia Konstantego na cześć króla Królestwa Polskiego, Aleksandra I, która w wersji Antoniego Goreckiego zyskała popularność w okresie XIX wieku jako hymn patriotyczny i kościelny Boże, coś Polskę. Poza tym był autorem dramatu Barbara Radziwiłłówna (1811) i pieśni: Pochwała Kościuszki (1792) oraz Pieśń ochotników (1794).

W 1816 roku opublikował pracę na temat ortografii Przyczyny używanej przeze mnie pisowni. Odrzucał w niej używaną dotychczas w języku polskim literę á, zachowywał é i ó. Zalecał także pisownię wyrazów być, kłaść, wieść, a na miejscu dawniej używanych i i y wprowadził j.

Jako tłumacz przełożył na język polski Ziemianina, czyli Ziemiaństwo francuskie Jacques’a Delille’a, adaptował też dramaty: Vittorio Alfieriego i Proespera Joylot de Crébillona.

Ważniejsze dzieła i utwory Jasio i Mikołajek przez Woltera. Z francuskiej prozy wykład na rymy polskie, powst. około roku 1786;