Jeńców rozlokowano na terenie Victoria Golf Club, który leżał w pobliżu miejscowego portu.
15 sierpnia tegoż roku na Labuan przywieziono kolejnych 200 jeńców, tym razem z obozu w Kuchingu. W tej grupie znalazło się pięciu Australijczyków; pozostali jeńcy byli Brytyjczykami. Najstarszy rangą był kpt. C.F. Campbell z .
Jeńcy pracowali przy budowie japońskiego lotniska wojskowego. W pierwszych miesiącach ich stan fizyczny był nie najgorszy, a morale utrzymywało się na wysokim poziomie. Z czasem jednak niedożywienie, ciężka praca i tropikalne choroby – przede wszystkim malaria, przełożyły się na drastyczny wzrost liczby zgonów. W ciągu niespełna dziewięciu miesięcy zmarło 188 jeńców. W drugiej połowie 1944 roku, w związku z zagrożeniem alianckimi nalotami, obóz przeniesiono z Victoria Golf Club do miejsca położonego około 4,8 km na północ od portu.