28 lipca 1980 prezydent Belaúnde powierzył mu misję utworzenia rządu, w którym objął też tekę ministra gospodarki, finansów i handlu. W tym okresie rząd podejmował doraźne działania reformy gospodarczej. Pomimo wysokiej inflacji Ulloa postanowił korygować politykę monetarną wyłącznie poprzez okresowe dewaluacje sola. Nieudolność swojego rządu do poprawy sytuacji gospodarczej usprawiedliwiał pokutującym dziedzictwem junty oraz uciążliwym El Niño. Podał się do dymisji 9 grudnia 1982.

Życie prywatne Czterokrotnie wchodził w związki małżeńskie. Po raz pierwszy ożenił się w 1947 w Limie z Carmen García Elmore (1924–2014), córką Carlosa Garcíi Gastañety (1890–1968), prezesa „Casa Grace”, i jego żony Eglantiny Elmore Letts (1892–1984). Małżeństwo zakończyło się rozwodem, pozostając bezdzietne.

Ponownie ożenił się w 1956 w Montevideo z Belgijką, Nadine van Peborgh Grisar (ur. 1930), z którą miał dwóch synów: Manuela Alberta (1958–2010), przedsiębiorcę, i Fernanda (1960–1978). Ponownie się rozwiódł.