W 1603 roku jako autor trafił do pierwszego polskiego Indeksu Ksiąg Zakazanych powstałego z inicjatywy biskupa Bernarda Maciejowskiegohttps://repozytorium.uwb.edu.pl/jspui/bitstream/11320/2532/1/Studia_Podlaskie_12_Guzowski.pdf.
Działalność literacka Pierwocinami literackimi Bielskiego były Żywoty filozofów wydane w 1535. Utwór, będący przekładem czeskiego tekstu Mikuláša Konáča z 1514, przedstawiał życiorysy i poglądy filozofów i pisarzy antycznych, średniowiecznych, Ojców Kościoła, a także postaci legendarnych. Dzieło kronikarskie Bielskiego, Kronika wszytkiego świata, ukazała się po raz pierwszy w 1551. Utwór opisywał historię świata od czasów Starego Testamentu, poprzez starożytny Rzym, starożytną Grecję, wydarzenia Nowego Testamentu, średniowiecze i wydarzenia współczesne autorowi do 1550. W 1557 wydał Komedyję Justyna i Konstancyjej, jeden z ciekawszych moralitetów polskiego renesansu. Bielski był także autorem kilku zróżnicowanych stylistycznie satyr: Sen majowy pod gajem zielonym jednego pustelnika, Sjem niewieści, Rozmowa nowych proroków dwu baranów o jednej głowie, wydanych po raz pierwszy w 1566/1567. Po śmierci Bielskiego syn Joachim wydał w 1597 dzieło zatytułowane Kronika polska – przerobioną i uzupełnioną przez siebie Kronikę wszytkiego świata.