W latach 1896–1897 był ambasadorem w Stuttgarcie, wówczas stolicy królestwa Wirtembergii, a w latach 1897–1903 w Atenach, przez co zyskał reputację eksperta od spraw BałkanówHasło: „Burian von Rajecz Stefan Graf”" w: „Österreichisches Biographisches Lexikon 1815–1950", Verlag der Österreichischen Akademie der Wissenschaften, Wiedeń, 1957, tom 1, s. 129.. W 1900, został baronem.
Minister Finansów W lipcu 1903 baron Burián został mianowany przez Franciszka Józefa I cesarskim i królewskim ministrem finansów Austro-Węgier, w miejsce hr. Agenora Marii Gołuchowskiego, jednak osobą która wywarła znaczny wpływ na stan tego resortu był długoletni jego szef, bo od 1882, a wówczas niedawno zmarły Benjamin Kállay von Nagy-Kálló. Cesarskie i Królewskie Ministerstwo Finansów było wówczas jedynym odpowiedzialnym za finansowanie wspólnych obszarów działania Podwójnej Monarchii, (np. polityki zagranicznej, armii i marynarki wojennej). W 1908, po aneksji Bośni i Hercegowiny, powierzono mu administrację Kondominium Bośni i Hercegowiny. Próbował zjednać jej mieszkańców dla monarchii organizując podróż Franciszka Józefa w 1910, z dobrym, choć krótkotrwałym, skutkiem„Z tego to aktu [aneksji Bośni i Hercegowiny] właśnie groziła 1909 owa wojna, z którą miałem do czynienia jako minister austriacki.