Wkrótce doszło do zatargu z hiszpańskimi kolonistami z St. Augustine. Przyczyną był nierozważny postępek grupy Francuzów, którzy uprowadzili jeden ze statków kolonii, pożeglowali nim na Kubę, gdzie zaatakowali hiszpański galeon. Hiszpanie zaplanowali odwet traktując Fort Caroline jako siedlisko piratów. Ich dowódca, Pedro Menéndez de Avilés, miał za zadanie strzec okrętów Złotej Armady przewożącej kruszce z Ameryki do Hiszpanii.
W sierpniu 1565 roku do Fort Caroline zawinął znany angielski żeglarz i korsarz John Hawkins, od którego Laudonnière kupił zapas żywności i statek. W kilka tygodni później zjawił się Ribault z planem zabrania Laudonnière'a do Francji dla ukarania za złe zarządzanie kolonią. Tymczasem we wrześniu znaczne siły hiszpańskie Menéndeza przypuściły nieudany atak na Fort Caroline od strony morza. Odwetowe uderzenie Ribaulta nie powiodło się, bowiem jego okręty zatopił silny sztorm na wysokości przylądka Canaveral. Sytuację wykorzystał Menéndez i zaatakował powtórnie, tym razem od strony lądu. Trzy czwarte kolonistów została zabita, a nieliczna grupka z Laudonnière’em i malarzem Jakiem Le Moyne de Morguesem zbiegła w las i na wybrzeże, skąd zabrał ich angielski statek.