Źródło FSSPX potwierdza zatem istnienie poważnego konfliktu personalnego i organizacyjnego, nie powtarza jednak późniejszych zarzutów SSF dotyczących konkretnych kandydatów do kapłaństwa.
Po odejściu Warda funkcję rektora seminarium FSSPX objął Donald Sanborn. Ward nie przyłączył się jednak do środowiska sedewakantystycznego, które w następnych latach powstało wokół części jego dawnych współpracowników, lecz rozpoczął budowę niezależnej wspólnoty w Kolorado.
Założenie wspólnoty Słudzy Świętej Rodziny zostali założeni w 1977 roku, w święto Świętej Rodziny. Wspólnota została oddana pod patronat Jezusa, Maryi i Józefa, a od lutego 1977 roku jej siedziba znajduje się w rejonie Colorado Springs. Do wspólnoty zaczęto przyjmować księży, seminarzystów i braci.
Według SSF seminarium i wspólnota powstały także w odpowiedzi na prośby seminarzystów związanych wcześniej z Wardem, którzy po jego odejściu z FSSPX mieli zwrócić się do niego o dalsze zapewnienie im formacji kapłańskiej. Własna historiografia wspólnoty przedstawia więc założenie SSF jako bezpośrednią kontynuację pracy formacyjnej prowadzonej przez Warda wcześniej w strukturach Bractwa św. Piusa X.