W sezonie 2004/2005 włoski pomocnik regularnie dostawał już szanse gry i łącznie rozegrał w Serie A 32 mecze, w tym 21 w wyjściowym składzie. Nie pomógł jednak swojemu klubowi utrzymać się w pierwszej lidze i Atalanta BC spadła do Serie B. Lazzari był jednak wyróżniającym się graczem w Pucharze Włoch, w którym strzelił 9 goli i został dzięki temu królem strzelców. Piłkarz zdobył między innymi wszystkie 5 bramek w dwumeczu z Juventusem w 1/8 finału, który Atalanta zwyciężyła 5:4. Podczas sezonu 2005/2006 Lazzari w 30 występach strzelił 4 bramki, między innymi decydujące o zwycięstwach 1:0 z Triestiną i Hellasem. Atalanta zwyciężyła rozgrywki drugiej ligi i znów powróciła do Serie A.
W latach 2006–2008 Włoch był wypożyczany do innych drużyn, wszystkich grających w drugiej lidze. Pierwszą część rozgrywek 2006/2007 spędził w zespole AC Cesena, natomiast w zimowym okienku transferowym przeszedł do Piacenzy. W Cesenie regularnie grywał w pierwszym składzie, jednak w Piacenzy pełnił już rolę rezerwowego. Podczas pojedynku Piacenzy z Grosseto Lazzari zdobył gola uderzeniem z własnej połowy, z około 57 metrów. W sezonie 2007/2008 włoski piłkarz przeszedł właśnie do Grosseto i stał się jego kluczowym zawodnikiem. Rozegrał w lidze 40 meczów, w tym 36 w podstawowej jedenastce i zdobył 8 goli.