Ożenił się z byłą kochanką cesarza Aleksandra II, co znacząco wpłynęło na jego karierę. W 1865 roku został szefem sztabu gwardii w okręgu petersburskim, w 1866 roku generał-lejtnantem i gubernatorem Inflant, Estonii i Kurlandii oraz dowódcą wojsk Ryskiego Okręgu Wojskowego. Naraził się wówczas rosyjskiej opinii publicznej, głosząc ideę porozumienia z niemieckojęzyczną szlachtą i zaprzestania rusyfikacji. W latach 1870–1880 był generał-gubernatorem wileńskim i dowódcą wojsk Wileńskiego Okręgu Wojskowego, podlegały mu gubernie wileńska, kowieńska i grodzieńska.
Od 1880 do 1883 roku sprawował urząd generał-gubernatora warszawskiego i dowódcy wojsk Warszawskiego Okręgu Wojskowego. W 1881 roku został członkiem Rady Państwa. Podczas wizyty Franciszka Józefa w Galicji został wysłany do niej jako oficjalny przedstawiciel Rosji. W czasie tej podróży, pod wpływem wyraźnie innego nastawienia Polaków do władz austro-węgierskich niż rosyjskich, doszedł do wniosku o konieczności zaprzestania represji w Królestwie Polskim i przywrócenia stanu sprzed powstania listopadowego. Napisał też w tej sprawie list do cesarza Aleksandra II, co spowodowało odsunięcie go od stanowisk.
Zmarł kilka miesięcy później, 19 maja 1883 w Warszawie.