Pierwszy klasztor został zbudowany około 623 roku. Jego budowniczym miał być św. Féchín, który wzniósł kościół pod wezwaniem Najświętszej Maryi Panny. Podczas synodu w Rath Breasill w 1010 roku w Cong ustanowiono biskupstwo. Pierwsze budowle przetrwały do 1114 roku, kiedy to zniszczył je ogień. Kroniki Czterech Mistrzów wspominają, że po tej dacie Cong podupadło i straciło status biskupstwa. Dwadzieścia lat później Tairdelbach Ua Chonchobair (Turlough O'Conor), władca Connachtu i wielki król Irlandii odbudował kościół i na nowo założył opactwo. W 1137 roku najeźdźcy z Munsteru zniszczyli budynki, ale Chonchobair ponownie je odbudował.
Po normandzkiej inwazji w 1169 roku, syn Chonchobaira, Ruaidrí Ua Conchobair zaczął tracić władzę nad krajem. Postanowił przenieść się do Cong, gdzie wzniósł nowe budynki opactwa i spędził tam ostatnie 15 lat swojego życia. Gdy zmarł w 1198 roku został, według tradycji, pochowany pod oknem prezbiterium. Krótko po tym, został jednak ekshumowany i pogrzebany na terenie klasztoru w Clonmacnoise. W opactwie Cong zostali natomiast pochowani członkowie jego rodziny: syn Maurice the Canon, córka Nuala oraz siostra Fionnuala. Później spoczęły tam również osoby z wpływowego rodu de Bermingham oraz wiele innych znaczących postaci, w tym opaci Niahol i Gillebard O’Duffy.