Biegle władał językami: białoruskim, polskim, łacińskim, hebrajskim i greckim, być może również znał czeski i włoski.
Pisarz białoruski i pastor kalwiński thumb|240px|Strona tytułowa Katechizmu nieświeskiego w języku białoruskim, 1562 Po powrocie na Litwę Budny osiadł w Klecku na dworze księcia Mikołaja Radziwiłła Czarnego, protektora kalwinizmu, gdzie powierzono mu funkcję pastora. Budny współtworzył (wraz z Ostapem Wałpowiczem, Wawrzyńcem Krzyżkowskim i Maciejem Kawęczyńskim) kalwińską drukarnię w Nieświeżu, gdzie w 1562 wydrukowano jego pierwszą książkę Katechizm nieświeski (Katichizis, to jest nauka starodawnaja chrystianskaja od swiatogo Pisma dlia prostych ludiej jazyka ruskago w pytaniach i odkazach sobrana). To dzieło zostało napisane w języku białoruskim i głosiło pochwałę tego języka oraz podkreślało konieczność jego używania w literaturze (zgodnie z poglądami Franciszka Skaryny). Katechizm Budnego był w istocie białoruskim przekładem Katechizmu Marcina Lutra.