Wiceprezydent right|thumb|230px|Wiceprezydent Jusuf Kalla z prezydentem Władimirem Putinem, Dżakarta, wrzesień 2007.
Dzięki akcji mediacyjnej, Kalla zdobył znaczną popularność w społeczeństwie. Postanowił to wykorzystać i w sierpniu 2003 ogłosił swój udział w wyborach prezydenckich w 2004. Jednakże na kilka dni przed konwencją partii Golkar wycofał swoją kandydaturę. Zaakceptował za to propozycję Partii Demokratycznej i zgodził się być kandydatem na wiceprezydenta przy boku Susilo Bambang Yudhoyono. W pierwszej turze wyborów 5 lipca 2004 para Yudhoyono/Kalla zdobyła 33% głosów poparcia. W drugiej turze wyborów 20 września 2004 Yudhoyono i Kalla pokonali Megawati Sukarnoputri, zdobywając 60,87% głosów.
Jusuf Kalla objął stanowisko wiceprezydenta Indonezji 20 października 2004 i zajmował je przez całą 5-letnią kadencję. 19 grudnia 2004 został wybrany przewodniczącym partii Golkar, którym pozostał do 8 października 2009.