27 września 1927 por. Władysław Nowacki zapoczątkował tradycję, przybywając konno ze Lwowa w mundurze ułana, w którym walczył w 1919 pod Jazłowcem. Złożył Najświętszej Pannie swój dawny proporzec jako wotum i oświadczył, że pułk ułanów Jazłowieckich żywi gorące nabożeństwo do Marii i pragnie corocznie w dzień Jej Niepokalanego Poczęcia wysyłać do klasztoru delegację. Odtąd w co roku przybywały z pułku delegacje.
Powstała Modlitwa Ułana Jazłowieckiego, określana też jako Pieśń do Najświętszej Marii Panny Jazłowieckiej, którą stworzył w 1927 por. Nowacki, który 8 grudnia tego roku w uroczystość Uroczystość Niepokalanego Poczęcia Najświętszej Maryi Panny osobiście udał się do Jazłowca, przekazując tam swój utwór i składając u stóp figury Najświętszej Marii Panny Jazłowieckiej lancę wraz z proporczykiem pułku.