Odejście z Bractwa św. Piusa X Na początku 1976 roku Ward opuścił Bractwo św. Piusa X. Według relacji opublikowanej przez SSF w 2025 roku przyczyną odejścia nie był spór doktrynalny z abp. Lefebvre’em – wspólnota określiła jego nauczanie jako zgodne z tradycyjną doktryną katolicką – lecz konflikt dotyczący sposobu zarządzania rozwijającym się Bractwem w Stanach Zjednoczonych. Ward miał przede wszystkim sprzeciwiać się przyjmowaniu do formacji i dopuszczaniu do święceń kandydatów, których uważał za nieodpowiednich pod względem doktrynalnym lub moralnym. Według SSF wielokrotnie przedstawiał Lefebvre’owi swoje zastrzeżenia oraz zamiar rezygnacji, a ostatecznie uznał, że nie może dalej pozostawać w Bractwie.
Własne źródła FSSPX przedstawiają konflikt z nieco innej perspektywy. W wydanym w 2020 roku przez Bractwo czasopiśmie „The Angelus” napisano, że Ward jako rektor seminarium w Armada popadł w konflikt z księżmi Clarence’em Kellym, Donaldem Sanbornem i Danielem Dolanem. Według tej relacji Lefebvre, pomimo ostrzeżeń cystersa o. Urbana Snydera dotyczących postawy tych duchownych, zdecydował się poprzeć Kelly’ego, Sanborna i Dolana.