Początkowo pracował w berlińskim radiu RIAS, które nadawało audycje po angielsku dla amerykańskiego sektora okupacyjnego. Prowadził audycje dotyczące głównie historii najnowszej. Prezentował najważniejsze niemieckie postaci historyczne, w tym też wysokich funkcjonariuszy III Rzeszy, jak Heinrich Himmler, czy Joseph Goebbels. W 1961 r. został redaktorem w telewizji Norddeutscher Rundfunk, gdzie odpowiadał za magazyn polityczny „Panorama”.
Pisarstwo i publicystyka Po rezygnacji, kiedy wpływy w telewizji chciała przejąć lewica, zajął się karierą literacką. Debiutem była książka pt. Das Gesicht des Dritten Reiches: Profile einer totalitären Herrschaft. Najważniejszą książką była biografia A. Hitlera, pierwsza autorstwa pisarza niemieckiego. Jego twórczość skupiała się na okresie hitleryzmu, zyskując dużą popularność. Z drugiej strony wywołała silne kontrowersje, gdyż Fest jako konserwatysta, silnie uwypuklał lewicową stronę działalności przywódcy III Rzeszy i w ogóle narodowego socjalizmu. Napisał też biografię Alberta Speera.