W wieku 9 lat, w 1842, rozpoczął naukę w Collegium Fridericianum w Królewcu. W 1851 ukończył to gimnazjum z maturą. Od tego roku rozpoczął studia na Uniwersytecie Albrechta w Królewcu. Po 3 latach przeniósł się na Uniwersytet Humboldtów w Berlinie, gdzie był uczniem profesora Leopolda von Rankego. W roku 1857 uzyskał stopień doktora nauk filozoficznych na podstawie napisanej po łacinie pod kierunkiem prof. Rankego dysertacji De Tacito, Suetonio, Plutarcho, Cassio Dione, Scriptoribus Imperatorum Galbae Et Othonis.
Po uzyskanym doktoracie Wiedemann powrócił do Prus Wschodnich, gdzie pracował jako nauczyciele prywatny (Privatgelehrter). Ten okres swojego życia będzie później określał jako 12 mrocznych lat (zwölf dunkle Jahre). W 1869 zdecydował się powrócić do Berlina i rozpoczął pracę sekretarza u swojego promotora prof. Leopolda von Rankego.
Po śmierci żony profesora von Rankego w 1871 roku, pozostawał przez ponad 15 lat jego osobą referencyjną w pełnym tego słowa znaczeniu, aż do śmierci profesora. Zarówno sam Ranke, jak też inne osoby poświadczały, że Wiedemann był osobą niezastąpioną. Pozostawał przy mistrzu przez 7 dni w tygodniu, przez całe wieczory, często do późnej nocy.