W roku 1928 Yamashita został wysłany do ambasady w Wiedniu, jako attaché wojskowy. W 1930, już w stopniu pułkownika, został dowódcą 3. Pułku Piechoty (uważanego za jeden z najlepszych w armii cesarskiej).

Po nieudanej próbie przewrotu w lutym 1936 r. popadł w niełaskę cesarza Hirohito, bowiem zabiegał o okazanie łaski oficerom zamieszanym w spisek.

Yamashita był zdania, że Japonia powinna zakończyć przedłużający się konflikt z Chinami i utrzymywać pokojowe stosunki ze Stanami Zjednoczonymi i Wielką Brytanią, ale został całkowicie zignorowany, a następnie skierowany na mało znaczące stanowisko w Armii Kwantuńskiej. W latach 1938–1940 dowodził 4. Dywizją Piechoty, która zajmowała się zwalczaniem antyjapońskiej partyzantki w północnych Chinach.

W grudniu 1940 roku Yamashita został wysłany z tajną misją wojskową do hitlerowskich Niemiec i faszystowskich Włoch, gdzie spotkał się z Adolfem Hitlerem i Benitem Mussolinim.