W rejestrach podatkowych z 1531 wszystkie trzy wsie notowane jako część grupy wsi Wielgor: Wielgor-Krzymosze (Vyelgor Krzymosza), Wielgor-Kowiesie (Vyelgor Covyessye) i Wielgor-Bajce (Vyelgor Bayczye). Granicą dóbr Wielgorz na wschodzie była wówczas rzeka Liwiec i oddzielała je od litewskich wówczas dóbr Mordy.
Co najmniej od 1552 zachodnia część dóbr nosi już tylko nazwę Krzymosze (Krzimosze). Wielgor-Bajce (a. Zajce) i Wielgor-Kowiesie notowane są pod tymi nazwami w księgach kościelnych jeszcze w 1721. Potem w źródłach występuje już tylko Wielgorz (a. Wielgórz).
Obecna wieś Wielgorz niewątpliwie leży na terenie dawnej wsi Wielgor-Kowiesie. Natomiast Bajce zostały wchłonięte albo przez obecny Wielgorz albo przez Krzymosze.
Historycznie, Krzymosze stanowiły część parafii w Zbuczynie. Dopiero w 1938 roku erygowano oddzielną parafię w Krzymoszach. Mimo to, od co najmniej pierwszej połowy XVII wieku Krzymosze były lokalnym ośrodkiem kultu (drewnianą kaplicę z tego okresu rozebrano w 1851). Kościół murowany został wybudowany w 1948 r., staraniem ks. Stefana Gruszeckiego. Kościół pw. Najświętszego Serca Jezusowego konsekrowany został w 1954 r. przez biskupa siedleckiego Ignacego Świrskiego. Styl pseudobarokowy;