Po wojnie wieś częściowo odbudowano. Niedługo po wyparciu Niemców miejsce pochówku ofiar zostało ogrodzone i oznaczone brzozowym krzyżem. Wiele wysiłku w upamiętnienie wydarzeń z lipca 1943 roku włożył ks. Józef Kaczyński, który w czasie pacyfikacji stracił matkę i troje rodzeństwa. Wkrótce po masakrze przystąpił wraz z innymi ocalałymi mieszkańcami do sporządzania imiennej listy ofiar. Z jego inicjatywy w 1946 roku wybudowano w Krasowie-Częstkach kaplicę-mauzoleum. Stanęła ona nieopodal miejsca, gdzie znajdują się obie masowe mogiły. We wnętrzu kaplicy umieszczono dwie tablice: jedną z nazwiskami zamordowanych, drugą z nazwiskami ocalałych. Znajduje się tam również ołtarz z kopią obrazu Matki Boskiej Częstochowskiej oraz gabloty z fragmentami desek ze spalonych gospodarstw oraz zdjęciami wsi i jej mieszkańców, które ks. Kaczyński wykonał na krótko przed pacyfikacją. Co roku 17 lipca odbywają się tam msze w intencji ofiar.
W 1983 roku w kościele św. Kazimierza w Nowych Piekutach, parafialnym kościele dla Krasowa-Częstek, w którym posługę pełnił ks. Kaczyński, zawisł „dzwon pojednania”.