W 1873 członek Rady Specjalnej ds. Reorganizacji Armii. W 1874 kierował reorganizacją wojsk inżynieryjno-saperskich. Był prekursorem i organizatorem przygotowania saperskiego pododdziałów piechoty, kawalerii i artylerii.
W czasie wojny rosyjsko-tureckiej (1877–1878) 22 września 1877 został wyznaczony na pomocnika szefa Oddziału Zachodniego, a od 3 listopada został szefem Oddziału Okrążenia Plewen (w dzisiejszej Bułgarii). Kierował oblężeniem Plewny, które zakończyło się 28 listopada kapitulacją garnizonu tureckiego. Potem dowodził Oddziałem Ruszukskim, a od kwietnia 1878 do stycznia 1879 walczącą armią, aż do podpisania traktatu w San Stefano i ewakuacji wojsk rosyjskich.
Od 1879 członek Rady Państwowej, a później generał-gubernator i dowódca Odeskiego Okręgu Wojskowego. W 1880 generał-gubernator wileński, kowieński i grodzieński oraz dowódca Wileńskiego Okręgu Wojskowego. Za zasługi nadano mu w 1879 tytuł hrabiowski.
Totleben był członkiem honorowym Akademii Nauk, szeregu akademii wojskowych i Uniwersytetu Petersburskiego. Pod jego kierownictwem ukazał się Opis obrony Sewastopola, wydany w latach 1863–1872. Napisał szereg instrukcji i podręczników.
Zmarł 19 czerwca (1 lipca) 1884 w Bad Soden koło Frankfurtu nad Menem i został pochowany w Sewastopolu.