Drugi pobyt w Shirdi thumb|190px|Shirdi Sai Baba przy ogniu W 1858 roku Sai Baba wrócił do Shirdi razem z procesją ślubną Amina Bhai Patila. Gdy wszedł do świątyni dewy Khandoby w Shirdi, obecny tam kapłan Mlahaspathy powitał go słowami Ya Sai (witaj święty człowieku). Imię Sai przylgnęło do niego i jakiś czas później zaczął być znany jako Sai Baba.
Pozostał w Shirdi aż do swej śmierci w 1918 roku. Tam prowadził niezwykle skromne i surowe życie. Mieszkał w zniszczonym meczecie. Z początku spełniał funkcję hakima (muzułmańskiego lekarza) i opiekował się chorymi. Jedzenie zdobywał żebrząc. W meczecie podtrzymywał święty hinduski ogień – Dhuni. Miał zwyczaj rozdawania swym gościom Udhi (świętego popiołu hinduistycznego branego z Dhuni) tuż przed ich odjazdem z Shirdi. Wierzono, że ów popiół ma moce ochronne i lecznicze. Sai Baba nauczał oraz (według tego co mówiły osoby przebywające z nim) dokonywał cudów. Brał udział w obrzędach religijnych. Miał również zwyczaj przygotowywania swoim wyznawcom jedzenia, które rozdawał jako prasadam. Jego rozrywką było tańczenie oraz śpiewanie pieśni religijnych (najbardziej lubił pieśni Kabira).
W 1910 roku sława Sai Baby rozpowszechniła się na całe Indie i jego kult zaczął się rozwijać.