Przebywając w sierocińcu Fish śpiewał także w kościelnym chórze.
W 1879 roku jego matka otrzymała posadę państwową, co umożliwiło jej opiekę nad najmłodszym synem i Fish opuścił sierociniec. Mając dwanaście lat nawiązał romans z innym nastolatkiem. Partner Fisha wprowadził go w takie praktyki jak picie moczu i koprofagia. Fish zaczął poświęcać swoje weekendy na wizyty w łaźniach publicznych, gdzie mógł oglądać rozebranych chłopców.
Około 1890 roku Albert przybył do Nowego Jorku, gdzie, jak twierdził, utrzymywał się z bycia męską prostytutką. Przyznawał później, że w tym okresie zaczął dopuszczać się gwałtów na młodych chłopcach. W 1898 roku, dzięki staraniom swojej matki, Albert poślubił kobietę, młodszą od niego o 9 lat. Miał z nią sześcioro dzieci: Alberta, Annę, Gertrude, Eugene, Johna i Henry’ego.
Od 1898 roku pracował jako malarz pokojowy, przyznając później, że w tym okresie dokonał gwałtu na około setce dzieci, przeważnie chłopcach poniżej szóstego roku życia. Wtedy też kochanek Alberta zabrał go do Muzeum Figur Woskowych, gdzie kompletnie go zafascynował przekrój penisa. Zdarzenie to wpłynęło silnie na rozwój zainteresowania Fisha kastracją.