W latach 1905–1907 uczęszczał do tradycyjnej konfucjańskiej szkoły podstawowej. W 1908 roku zmienił szkołę na świecką, z której jednak musiał zrezygnować w wieku dziewięciu lat. Rezygnacja wynikała z pogarszającej się sytuacji rodziny spowodowanej suszą. Matka Penga zmarła w 1905 roku, a sześciomiesięczny brat Penga zmarł z głodu. Ojciec został zmuszony do sprzedaży lub zastawienia większości swoich gruntów w celu kupna żywności. Peng wraz z braćmi został wysłany na żebry w rodzinnej wiosce. Już w 1908 roku rozpoczął pierwszą pracę pomagając w hodowli bawołów.
Peng opuścił dom rodzinny po śmierci wujka w 1911 roku. Wyjechał do Xiangtan, gdzie zaciągnął się do pracy w kopalni. Wraz z innymi górnikami pracował po trzynaście godzin dziennie za wynagrodzenie w postaci dziewięciu juanów miesięcznie. W 1912 roku, krótko po utworzeniu Republiki Chińskiej, kopalnia zbankrutowała, a właściciele uciekli kradnąc połowę rocznych zarobków Penga. W tym samym roku wrócił do domu i podjął szereg pracy. W 1913 roku, po kolejnej fali suszy, wziął udział w demonstracjach, które przerodziły się w zajęcie magazynu zboża i redystrybucje ziarna pośród chłopów. Po próbie aresztowania uciekł na północ prowincji Hunan, gdzie przez dwa lata pracował jako robotnik budowlany stawiając zaporę.