Nie wprowadzono tam sądownictwa, a policji z Hongkongu zabroniono wchodzić do środka, przez co mała enklawa stała się rajem dla różnego rodzaju przestępców, narkomanów, hazardzistów, czy prostytutek. Życie wewnątrz rządziło się własnymi prawami; zaczęły tworzyć się nieformalne struktury i wewnętrzne zasady. Osiedle rozbudowywało się w sposób niekontrolowany, ulice były wąskie, brudne i ciasne. Wraz z upływem czasu, opór wobec wewnętrznych poczynań i struktur osiedla-miasta narastał. W roku 1984, władze Hongkongu podjęły ostateczną decyzję o zburzeniu miasta. Stało się to 10 lat później.
Życie w mieście thumb|Kowloon Walled City w 1991 roku Mimo iż Kowloon stało się azylem dla przestępców, większość jego mieszkańców starała się prowadzić normalne życie. Było to jednak trudne bez wody i prądu elektrycznego i nadal trzeba było tu walczyć o przetrwanie. W celu poprawy jakości życia w mieście wykopano ok. 70 studni o głębokości ok. 100 m. Początkowo – do momentu poważnego pożaru – pompy czerpały energię elektryczną poprzez sieć nielegalnych połączeń, tworzonych z reguły przez mieszkających na osiedlu elektryków z Hongkongu.