Na początku 1828 Van Buren złożył mandat senatora, by objąć stanowisko gubernatora Nowego Jorku, po zmarłym De Witcie Clintonie.

Sekretarz stanu i wiceprezydent USA Po dwóch miesiącach pełnienia urzędu zrezygnował z niego, gdyż prezydent Jackson zaproponował mu objęcie funkcji sekretarza stanu w jego administracji. Dzięki jego umiejętnościom dyplomatycznym udało mu się zakończyć konflikt pomiędzy Stanami Zjednoczonymi a Wielką Brytanią, dotyczący dostępności rynków w Indiach Zachodnich. Załagodził także spór z Francją, która odmawiała wypłaty odszkodowania za konfiskaty statków amerykańskich z lat 1803-1815. Van Buren skupiał się jednak głównie na pracy na rzecz Partii Demokratycznej i zapewnieniu poparcia prezydentowi Jacksonowi. W jego rządzie pełnił rolę nie tylko sekretarza stanu, ale także zaufanego współpracownika tzw. gabinetu kuchennego. Ustąpił ze stanowiska w czasie reorganizacji gabinetu 23 maja 1831 roku.