Sztormowa pogoda nie pozwoliła rzucić kotwicy przez ponad miesiąc i jedynie 7 stycznia 1775 roku kapitan "l'Oiseau", Rochegude, zdołał na moment wylądować na brzegu i zostawić tam butelkę z listem informującym o odkryciu Lądu Południowego przez wyprawę francuską (dwa lata później odnalazł ją James Cook, opisując wyspy na swojej mapie jako Isles of Desolation – Pustkowie). Z powodu pogarszających się nastrojów wśród załogi, Kerguelen był zmuszony zawrócić. Do Brestu powrócił w sierpniu 1775 roku, straciwszy trzydziestu ludzi. Mimo wysiłków Kerguelena, jego oficerowie przekazali Francji wiadomość, że odkryty przez niego Ląd Południowy to w rzeczywistości archipelag kilku skalistych wysp.
Jego druga wyprawa była oceniana jako mniej pomyślna (jeden z oficerów zeznał, że Kerguelen zostawił część załogi na bezludnej wyspie, ponadto pozwalał zabierać na pokład rzeczy celem sprzedaży). W swojej obronie umniejszał wagę zarzutów (załoga została ocalona, a ww. handel był na niewielką skalę), twierdząc, że zarzuty jemu stawiane to efekt zazdrości oficerów, którzy nie mogli się pogodzić z faktem, że dowodzi nimi były oficer marynarki handlowej. Stanął przed królewskim trybunałem, utracił wszystkie tytuły, odznaczenia i szlachectwo. Został także skazany na 6 lat twierdzy.