Sprzeczna postawa ws. ekspansjonizmu doprowadziła do tego, że nawet jego mentor – Andrew Jackson udzielił mu nagany i nie udzielił mu poparcia w wyborach prezydenckich w 1840 roku. Podobne poglądy Van Buren przedstawiał w innych dziedzinach, np. był uważany za zwolennika niewolnictwa na Północy i abolicjonistę na Południu. Taka postawa nie przysporzyła mu sympatii opinii publicznej i sprawiła, że przegrał on wybory prezydenckie na rzecz kandydata Partii Wigów – Williama Henry’ego Harrisona.

Emerytura Po przegranych wyborach Van Buren powrócił do rodzinnej miejscowości Kinderhook. Nadal pozostawał aktywny politycznie – w 1844 roku prezydent John Tyler zaproponował mu stanowisko sędziego Sądu Najwyższego, lecz ten odmówił. Cztery lata później ubiegał się o nominację prezydencką Partii Demokratycznej, lecz jego sprzeciw wobec aneksji Teksasu spowodował, że nie uzyskał wymaganego poparcia. Uzyskał natomiast nominację antyniewolniczego Ruchu Wolnej Ziemi oraz poparcie liberalnej frakcji wigów. Przegrał w głosowaniu powszechnym i nie uzyskał żadnego głosu w Kolegium Elektorów.

Pod koniec życia uskarżał się na dolegliwości związane z astmą.