Kariera polityczna Po powrocie do Kolumbii w 1914 roku Ospina nawiązał kontakt z liderami Kolumbijskiej Partii Konserwatywnej. W tym roku został wybrany do Rady Miejskiej Medelliny reprezentując Partię Konserwatywną. Zasiadał w niej przez 2 kadencje do 1917 roku. Tego samego roku został wybrany na Deputowanego Antioqui. 1919 roku Ospina został mianowany na Nadinspektora Kolei Antioqui. W 1921 roku wystartował ponownie w wyborach do Zgromadzenie Antioqui zostając wybrany.Po śmierci ojca, tego samego roku, Ospina przejął jego posadę, jako dyrektor Szkoły Górniczej.
W 1922 roku jego wujek Pedro Nel Ospina został wybrany na prezydenta Kolumbii, a on sam został wybrany na Senatora Kolumbii na 4 letnią kadencję. W 1926 roku nowo wybrany prezydent Miguel Abatia mianował Ospina na Ministra Prac Publicznych, jego ministerialna kariera trwała tylko 8 miesięcy.
Pomiędzy 1930-1934 r. był dyrektorem Federaction Nacional de Kafeteros de Colombia i od wtedy uzyskał przydomek „Chombre de Los Kafeteros” (przyjaciel plantatorów kawy). Pracował na rzecz Federacji przez prawie dekadę, jednocześnie będąc liderem związku zawodowego plantatorów i senatorem.