Od 1920 związany z Savezem zemljoradnika (Związek rolników), należał do organizatorów Partii Agrarnej, od 1937 kierował pismem agrarystów Selo. W 1937 wziął aktywny udział w protestach przeciwko podpisaniu konkordatu ze Stolicą Apostolską. W 1939 po śmierci Jovana Jovanovicia Piżona stanął na czele partii. W tym samym roku został wybrany senatorem. Po nawiązaniu w czerwcu 1940 przez Jugosławię stosunków dyplomatycznych z ZSRR, Gavrilović kierował poselstwem jugosłowiańskim w Moskwie. Był inicjatorem podpisania paktu o nieagresji z ZSRR w kwietniu 1941. Po agresji niemieckiej na Jugosławię wyjechał do Londynu, a następnie do Moskwy, gdzie próbował forsować ideę współpracy wszechsłowiańskiej. Po powrocie do Londynu pełnił funkcję ministra bez teki, a od 1942 ministra sprawiedliwości w rządzie Slobodana Jovanovicia. Po zakończeniu II wojny światowej pozostał w Wielkiej Brytanii, skąd przeniósł się do Stanów Zjednoczonych. Tam też działał w serbskich organizacjach emigracyjnych.
Był żonaty (żona Jelena z d. Cincar-Janković), miał syna i cztery córki.