Nędza i głód sprawiły, że rodzice postanowili porzucić dzieci w lesie. Paluszek podsłuchał jednak ich plany i nazbierał kamyków, by oznaczyć przebytą drogę. Dzięki temu bracia mogli wrócić do domu, ku radości rodziców, którzy właśnie odzyskali dawny dług i przez jakiś czas nie brakowało im jedzenia. Kiedy jednak pieniądze się skończyły, ponownie wyprowadzili dzieci do lasu. Tym razem Paluszek nie mógł nazbierać kamyków, więc próbował oznaczyć drogę okruchami chleba, ale wydziobały je ptaki.
Dzieci błąkały się po lesie, aż trafiły do chaty olbrzyma-ludożercy (fr. ogre). Jego żona namówiła go, by nie zabijał dzieci od razu, po czym położyła je w pokoju, w którym spały również córki ludożercy w koronach na głowach. Paluszek założył je własnym braciom, dzięki czemu olbrzym po ciemku zamiast nich zamordował własne córki, a chłopcy mogli uciec pod osłoną ciemności.
Gdy rano prawda wyszła na jaw, ludożerca ruszył w pościg w siedmiomilowych butach. Widząc go, chłopcy ukryli się w skalnej grocie. Zmożony zmęczeniem olbrzym zasnął nieopodal nich.