Przed wyruszeniem w długi marsz Shackleton polecił Hurleyowi zmniejszyć obciążenie poprzez wyselekcjonowanie negatywów, które należy zachować. Wybrano 120 negatywów, a resztę zniszczono tak, by uniknąć pokusy zmiany decyzji. Hurley zabrał również swój sprzęt fotograficzny. „Endurance” ostatecznie zatonął 21 listopada 1915 roku. Pod koniec grudnia podjęto kolejną próbę marszu w stronę Paulet Island, którą jednak zarzucono i postanowiono poczekać, aż dryft północny przemieści wyprawę nad otwarte wody. Shackleton upatrywał możliwości ratunku w dopłynięciu do wysp w archipelagu Szetlandów Południowych – Clarence Island lub Elephant Island. Wyprawa łodziami została wymuszona po tym jak 8 kwietnia pękła kra, na której obozowano. Po siedmiu dniach wylądowano w końcu na Cape Valentine na Elephant Island. Wobec zbliżającej się zimy, pogarszającego się stanu zdrowia załogi i niewielkich szans na odnalezienie, Shackleton zaczął planować misję ratunkową do Georgii Południowej oddalonej o ponad 1287 km. Na misję Shackleton dobrał pięciu innych uczestników wyprawy: Franka Worsleya (1872–1943), Toma Creana (1877–1938), marynarzy Timothy’ego McCarthy’ego i Johna Vincenta, oraz Harry’ego McNisha (1874–1930). Hurley pozostał wraz innymi uczestnikami na Elephant Island i po czterech miesiącach doczekał się ratunku.