16 maja 1895 roku Franciszek Józef I powołał go na stanowisko ministra spraw zagranicznych Austro-Węgier. Jako szef austro-węgierskiej dyplomacji koncentrował swą uwagę głównie na sprawach bałkańskich. Dążył do pokojowego uregulowania stosunków między Austro-Węgrami a Imperium Rosyjskim i w stosunkach tych szukał porozumienia w spornych kwestiachPantenburg I. P., Im Schatten des Zweibundes: Probleme österreichisch-ungarischer Bündnispolitik 1897 – 1908, Wiedeń 1996, s. 227.. Sprzyjał mu w tym ówczesny kurs rosyjskiej polityki zagranicznej. Petersburg poprzez osobę ambasadora Piotra Kapnista dążył do traktatowego ustanowienia statusu quo w regionie. Do rosyjskich zapewnień, że państwo Romanowów pragnie przede wszystkim pokoju podchodził z rezerwąGrenville J. A. S. Goluchowski, Salisbury, and the Mediterranean Agreements, 1895-1897, w: The Slavonic and East European Review, Vol. 36, No. 87 (Jun., 1958), s. 361-362.. Negocjacje w tej sprawie toczyły się zarówno w czasie wizyty cesarza Mikołaja II w Wiedniu (1896), jak i rewizyty Franciszka Józefa w Petersburgu (1897)Walters E. (red.), Austro-Russian Relations under Goluchowski, 1895-1906: The Terms of Balkan Agreement, w: The Slavonic and East European Review, Vol. 31, No. 77, s. 522-523.Walters E.