W 1802 utworzono z jego inicjatywy Ministerstwo Edukacji Publicznej, które nie miało analogii wówczas odpowiednika w żadnym kraju europejskim. Dzięki Karazinowi otwarto w 1803 uniwersytet w Charkowie w miejsce planowanego w Kijowie.
Mimo swego oddania utracił sympatię cara i w 1804 został usunięty ze spraw uniwersyteckich i zwolniony z Ministerstwa Edukacji. Zamieszkał wówczas na powrót w swej posiadłości w Kruczyku, gdzie założył pierwszą na Ukrainie szkołę dla chłopów i przeprowadził częściową parcelację majątku. Jego drugą żoną została Aleksandra Wasiljewna Blankennagel, której dziadkiem był historyk Iwan Golikow, którego dużą bibliotekę odziedziczył. Zajął się uzasadnieniem utworzenia sieci stacji meteorologicznych w całej Rosji i poprosił cara o wsparcie w zakresie badania elektryczności atmosferycznej. Nie otrzymał wówczas pomocy w żadnym z tych zakresów. Skonstruował w tym czasie prototyp silnika parowego, który również nikogo nie zainteresował, podobnie jak koncepcja centralnego ogrzewania parowego. W 1814 opracował metodę otrzymywania azotanu do nawożenia przez elektrolizę. Wytwarzał też leki i chemikalia. Usprawniał procesy wytwarzania świec z wosku, wydobywania wapna, produkcji oleju roślinnego, mydła i cementu.