Przybyli z Francji, Włoch i Jędrzejowa.
thumb|Wnętrze kościołaPrzy kościele stanął niewielki drewniany klasztor kryty gontem. Obok postawiono budynki gospodarcze. Klasztorne zabudowania, które ostatecznie spłonęły w pożarze w 1796, praktycznie już od 1245 roku stały opustoszałe. Zakonnicy przenieśli się do Szczyrzyca, prawdopodobnie z powodu częstych najazdów Tatarów i napadów zbójeckich, jakie nękały klasztor i okolicę. Jednakże parafią w Ludźmierzu kierowali do roku 1824, przekazując ją później pod zarząd diecezjalny.
Murowany kościół W latach 1869–77 kościół został rozebrany, a w jego miejscu wybudowano obecną murowaną świątynię w stylu neogotyckim. Przeniesiono do niej rokokowy ołtarz z figurą Matki Boskiej Ludźmierskiej. W 2001 roku kościół otrzymał tytuł bazyliki mniejszej.
Obecnym proboszczem parafii jest ks. Jerzy Filek.
W bazylice znajdują się 26-głosowe organy, które zostały sprowadzone z XII-wiecznego kościoła Św. Jana w Oldenburg in Holstein. Zastąpiły nieużywany od 2017 roku 15-głosowy instrument Tomasza Falla z 1892 roku.