Sądy, oskarżenia i wyprawa do Brazylii W roku 1640 De With stanął przed sądem po tym, jak wrócił do Hellevoetsluis sam, gdy jego flota została rozproszona przez sztorm. Sądowi przewodniczył Maarten Tromp. Chociaż został uniewinniony, miał nieodparte wrażenie, że Tromp usiłował wpływać na świadków w sposób dla niego niekorzystny. Dwukrotnie, w roku 1644 i 1645, De With przeprowadzając ogromne konwoje statków handlowych – za drugim razem było ich aż 702 – sforsował Sund wbrew Duńczykom, którzy próbowali narzucić wysokie cła przewozowe. W roku 1647 De With wysłany został ze słabo wyposażoną flotą do zaatakowanej przez Portugalczyków kolonii holenderskiej w Brazylii. Odmówił współpracy z gubernatorem kolonii i po wielu miesiącach walk, podczas których flota jego uległa licznym uszkodzeniom niemożliwym do naprawienia z powodu niedostatecznego zaopatrzenia. W takim wypadku wbrew rozkazom w listopadzie 1649 wrócił do Holandii z dwoma zdolnymi do dalekiej żeglugi okrętami. Zaraz po powrocie udał się do Stanów Generalnych (Staten-Generaal) by poskarżyć się na politykę prowadzoną w holenderskiej kolonii w Brazylii, jednak został aresztowany. Oskarżono go o niesubordynację i dezercję, a sam akt oskarżenia składał się aż z 259 punktów.