W 1929 wyjechał wraz z rodziną do Paryża, gdzie nie udało się im znaleźć pracy. Przez pięć dni spali na ulicach, potem w barakach Armii Zbawienia, a ostatecznie z braku miejsca w nich, w dworcowej poczekalni. Następnie zostali skierowani do miejscowości Belfort. Rok później trafił do położonego w Alzacji Ensisheim, gdzie pracował z ojczymem w kopalni potasu.
Z powodu złego stanu zdrowia ojczyma, pojechał na północ, do departamentu Pas-de-Calais, gdzie rodzina osiedliła się w miejscowości Leforest, a Gierek podjął pracę w kopalni należącej do przedsiębiorstwa Escarpelle. W miejscowej kopalni pracowało ponad 500 Polaków. Gierek udzielał się w Robotniczym Towarzystwie Kulturalno-Oświatowym, w którym uprawiał sport, występował w zespołach artystycznych, słuchał odczytów i czytał rewolucyjną literaturę. W maju 1931 wstąpił do związków zawodowych i polskiej sekcji Francuskiej Partii Komunistycznej, będąc najmłodszym członkiem swojej komórki partyjnej, w której pełnił funkcję łącznika, kolportującego literaturę i ulotki. W 1934 organizował strajk solidarnościowy ze zwalnianymi Polakami w kopalni Leforest. Był to pierwszy strajk okupacyjny we francuskiej kopalni, a strajkujący spędzili pod ziemią 36 godzin. Za organizację strajku został wysiedlony karnie do Polski już dzień po jego zakończeniu jako jeden z 73 strajkujących.