Rozczarowany takim obrotem sprawy De With porzucił służbę w marynarce wojennej by zostać komodorem Grote Visserij, czyli administracyjnego ciała kontrolującego i chroniącego militarnie flotę śledziową. Dowódcą okrętu flagowego Heyna w miejsce De Witha został Maarten Tromp. W 1635 De With na krótko wrócił do marynarki wojennej, jednak wkrótce znów ją opuścił po kłótni z admirałem-porucznikiem Philipsem van Dorpem.
W wojnie osiemdziesięcioletniej z Hiszpanią De Width walczył w bitwie pod Downs (1639), stając się w roku 1637 wiceadmirałem Holandii i zachodniej Fryzji, w czasie, gdy wysokiej rangi oficerowie, a wśród nich Van Dorp, zostali zastąpieni z powodu swojej niekompetencji. Pomimo awansu De With był wciąż niezadowolony, gdyż liczył na naczelne dowództwo nad całą flotą. Stanowisko to powierzono jednak Trompowi. Popularność Trompa była przyczyną zazdrości De Witha, szczególnie po zniszczeniu hiszpańskiej floty pod Downs. W tej samej bitwie stworzył sobie wroga z wiceadmirała Johana Evertsena, gdy oskarżył go o tchórzostwo i chciwość.