Jako premier uchwalił kilka ważnych ustaw, m.in. nowe prawo edukacji podstawowej, które stawiało wyższe wymagania dotyczące jakości budynków szkół oraz zarobków nauczycieli. To podniosło obciążenia finansowe publicznych szkół, jedynie prywatne otrzymywały subwencje rządowe. Szkoły religijne, które nie utrzymały ciężaru zostały w efekcie zakazane. Doprowadziło to do petycji obywatelskiej popartej przez partie antyrewolucyjną oraz katolicką. 10 czerwca 1879 zaproponowane przez niego prawo zostało odrzucone przez parlament. 2 lipca Kappeyne podał się do dymisji, którą król Wilhelm III Holenderski odrzucił. Kappeyne ponownie poprosił monarchę o zdymisjonowanie. Tym razem dymisja została przyjęta i 20 sierpnia 1879 utracił stanowisko premiera.
Życie po zakończeniu kariery politycznej W 1879 Kappeyne wrócił do swojej kancelarii prawnej w Hadze. Próbował ponownie zostać członkiem parlamentu w 1880, 1883 i 1884, ale ani razu mu się nie powiodło. Były premier pozostał prawnikiem do śmierci w 1895. W tamtym okresie odrzucił propozycję zostania honorowym profesorem prawa, którą otrzymał od uniwersytetu w Lejdzie. W 1888 został wybrany do Senatu (Eerste Kamer) jako liberał z Holandii Północnej. W Senacie wybrał bardziej konserwatywną drogę i pozostał backbencherem.