Jego rodzice i dziadkowie w dużej mierze zaakceptowali i poparli jego ekspresję płciową, chociaż jego matka opisała jego „pragnienie bycia chłopcem” jako „durne”. Nekrologi jego dziadków z 1921 i 1924 r. wymieniają Harta jako wnuka. Kiedy miał 12 lat, rodzina przeprowadziła się do Albany. Tam też Hart był zobowiązany do przedstawienia się jako kobieta by móc uczęszczać do szkoły, gdzie był traktowany jak dziewczyna. Wakacje spędzał na farmie dziadka, prezentując się jako mężczyzna wśród swoich męskich przyjaciół, „drażniąc się z dziewczynami i grając w gry dla chłopców”. Według wspomnienia w Halls Summit News z 10 czerwca 1921 r. „Młody Hart był inny, nawet wtedy. Ubrania dla chłopców wyglądały na nim po prostu naturalnie. Lucille zawsze uważała się za chłopca i błagała rodzinę, by móc obciąć włosy i nosić spodnie. Lucille nie lubiła lalek, ale za to lubiła bawić się w lekarza. Nienawidziła tradycyjnych zadań dla dziewcząt, zamiast tego wolała pracę na farmie wraz z mężczyznami z rodziny.