Peiper został przedterminowo zwolniony z więzienia w 1956. Wsparcie HIAG (organizacji weteranów Waffen-SS) pozwoliło mu wybierać pomiędzy trzema ofertami zatrudnienia, z których najbardziej lukratywna była umowa z Porsche. Pracował tam w latach 1957–1960. Został zwolniony na skutek protestów włoskiego związku zawodowego, choć właściciel koncernu usiłował przenieść go na stanowisko menedżerskie. Peiper wygrał przeciw byłemu pracodawcy proces o odszkodowanie i z pomocą HIAG przeniósł się do Volkswagena. Podjęte przez Centralę Badania Zbrodni Narodowosocjalistycznych w Ludwigsburgu w 1964 śledztwo w sprawie zbrodni dokonanej przez jednostkę Peipera na cywilnej ludności włoskiego miasteczka Boves w 1943 zostało umorzone z braku dowodów.
W 1972 roku osiadł we Francji, w departamencie Górna Saona, w miejscowości Traves. W 1974 roku, robiąc zakupy w pobliskim sklepie, został rozpoznany (najprawdopodobniej po nazwisku) przez francuskiego komunistę, który złożył o tym raport swojej Francuskiej Partii Komunistycznej. W czerwcu 1976 roku w Traves pojawiły się ulotki z podobizną Peipera, informujące o jego przeszłości. Artykuł o nim i miejscu jego pobytu pojawił się również w gazecie „L’Humanité”. W rezultacie Peiper otrzymał anonimowe groźby i ultimatum, że jeśli nie opuści Francji, zostanie zabity.