Pod koniec okresu trzyletniej banicji popadł jednak w konflikt z możnowładcami i był zmuszony opuścić Norwegię.
Udał się wtedy do rodzinnego kraju, gdzie został ciepło przyjęty przez ludność, która znała już jego bohaterskie czyny. Z czasem popadł jednak w konflikty, co powodowane jego wybuchowym charakterze i wysokim mniemaniem o sobie. Wkrótce potem Grettir został zatrudniony do pomocy w gospodarstwie Thorhalla, które było nawiedzane przez demony. Zdołał pokonać widmo w zapasach i uciąć mu głowę, ale wcześniej upiór zdążył rzucić na niego klątwę. Zapowiedział on, że odtąd Grettir stanie się banitą, a każdy jego czyn przyniesie mu nieszczęście, co zmusi go do życia w samotności. Widmo zapowiedziało także, że odtąd Grettir będzie widzieć nocą świat duchów i było to powodem dla którego odtąd panicznie bał się on ciemności.
Grettir początkowo nie przejął się klątwą i zaciągnął się na służbę króla norweskiego, Olafa Haraldsona, ale w czasie podróży wdał się nocą w starcie z ludźmi, którzy wzięli go omyłkowo za trolla. Po odkryciu ich śmierci został skazany na dożywotnią banicję w Norwegii, a także na Islandii, dokąd wieści o zdarzeniu szybko dotarły.