Dzieciństwo i młodość Urodził się w 1522 r., przypuszczalnie 17 grudnia (jako mniej prawdopodobny rok urodzenia podawano 1525) w szwabskiej miejscowości Mittelbiberach, wówczas w , jako nieślubny syn (nieżonatego) Rulanda von Schwendi i służącej w jego domu w Memmingen niezamężnej Apollonii Wenk. Ród Schwendi, katolicki w wyznawanej wierze, należał do niższej szlachty (Freiherrstand), wywodzącej się z miejscowości Schwendi w Górnej Szwabii. Jego matka pochodziła z niskiego stanu społecznego ze wsi Mittelbiberach, do której wróciła na czas urodzin syna. Ochrzczono go w tamtejszym kościele parafialnym rzadkim imieniem Lazarus, gdyż w dniu jego urodzin lub bezpośrednio po nim obchodzono dzień poświęcony św. Łazarzowi. Chłopca matka wychowywała w domu ojca w Memmingen. W sierpniu 1524 dzięki staraniom Rulanda von Schwendi jego syn otrzymał cesarską legitymizację prawowitości pochodzenia. Sam zmarł w stanie bezżennym w czerwcu 1525, pół roku wcześniej testamentem z 17 stycznia 1525 wyznaczając dwuletniego Lazarusa swoim jedynym spadkobiercą. Egzekucję testamentu, opiekę nad dzieckiem do czasu pełnoletniości (tj. 24 lat) i zarząd jego spadkiem przekazał burmistrzowi i radzie miejskiej wolnego miasta Rzeszy (freie Reichsstadt) Memmingen, którego Lazarus był obywatelem.