Prawosławny biskup czernihowski Filaret określił wręcz Wałujewa jako „wroga i gnębiciela prawosławia, Polaka z domieszką Niemca”. Z drugiej strony Wałujew wydał specjalny cyrkularz zakazujący druku publikacji w języku ukraińskim, albowiem nie uznawał istnienia takowego. Idąc za sugestią generał-gubernatora wileńskiego Konstantina von Kaufmana wydał także okólnik zabraniający druku w języku litewskim oraz języku żmudzkim przy użyciu alfabetu łacińskiegoJ. Ochmański, Historia Litwy, Zakład Narodowy im. Ossolińskich, Wrocław-Warszawa-Kraków-Gdańsk-Łódź 1982, s. 228–229.. W brutalny sposób tłumił kontestujące ruchy społeczne, w szczególności narodników. Podniesiony do rangi rzeczywistego tajnego radcy (II cywilna) 28 października 1866 roku. Z powodu braku zadowalającej reakcji na klęskę głodu został roku zdymisjonowany; oficjalnym powodem dymisji były problemy zdrowotne.
Po opuszczeniu służby państwowej kilka miesięcy spędził za granicą Imperium Rosyjskiego. W 1869 roku został pierwszym prezesem założonego przez Leopolda Kronenberga Petersburskiego Banku Dyskontowego i PożyczkowegoAndrzej Żor (2011) Koronenberg. Dzieje fortuny, Wydawnictwo Naukowe PWN, Warszawa. s. 251..