Obecność kurlandzkich osadników i handlarzy na terenach współczesnej Gambii nie trwała długo, ponieważ książę Jakub Kettler dostał się do niewoli szwedzkiej podczas II wojny północnej (1655–1660), co położyło kres kurlandzkiej kolonizacji w tej części świata. Początkowo kontrolę nad Wyspą James przejęli Holendrzy, a następnie – po okresie przejściowego odzyskania władzy przez kurlandzkiego gubernatora Otto Stiela – 19 marca 1661 roku wyspa wraz z innymi koloniami Kurlandii dostała się pod zarząd angielski. 17 listopada 1664 Kurlandia formalnie przekazała Anglii swoje posiadłości nad rzeką Gambia w zamian za uznanie swojego prawa do kolonizacji Antyli. Działalność kolonialną na Karaibach prowadziła wtedy jednak także nie uznająca kurlandzkich roszczeń Holandia. Słabej militarnie Kurlandii pozostało dochodzenie swoich praw do kolonizacji tego rejonu na drodze dyplomatycznej, wysiłki te pozostały jednak bezskuteczne.