W 1620 r. benedyktyni musieli ustąpić obiekt oratorianom, którzy założyli na terenie klasztoru seminarium duchowne. Dzięki pomocy finansowej Gastona Orleańskiego, brata Ludwika XIII, udało się rozpocząć prace nad nową budowlą. Pieniądze jednak szybko się skończyły, a biedni mieszkańcy dzielnicy nie byli w stanie finansować dalszych prac. Obiekt mógł zostać zakończony tylko dzięki dotacji paryskiego parlamentu, który też zdecydował o nadaniu mu imienia świętych Jakuba Młodszego oraz Filipa.
Jeszcze w XVII w. kościół stał się silnym ośrodkiem jansenizmu, został w nim pochowany m.in. jeden z jego przywódców Jean Duvergier de Hauranne oraz wielka protektorka jansenisów Anna Genowefa de Bourbon-Condé, księżna de Longueville. Była ona również inicjatorką rozbudowy obiektu w latach 70. XVII w. i sfinansowała projekt budynku sporządzony przez Daniela Gittarda, wsławionego projektem kościoła Saint-Sulpice. Jego plany nie zostały jednak zrealizowane; zamiast planowanych dwóch wież powstała tylko jedna. W 1685 r. dokonano ponownego otwarcia kościoła, chociaż nadal trwały prace przy kaplicach bocznych.