Po porzuceniu przez Arsienija Tarkowskiego rodziny w 1936 roku, Andriej, jego siostra i matka mieszkali razem z babką. Od wybuchu II wojny światowej przebywał we wsi Juriewo, gdzie uczęszczał do szkoły. W 1944 wyjechał wraz z matką i siostrą do Moskwy. Ukończył tam szkołę średnią. Ponadto Tarkowski rozwijał swoje zainteresowania, uczęszczając przez siedem lat do szkoły muzycznej oraz od siódmej klasy do szkoły sztuk plastycznych, gdzie uczył się malarstwa. Kontynuując powszechną edukację, poznał późniejszego przyjaciela, przyszłego poetę Andrieja Wozniesienskiego. W 1946 poważnie zapadł na zdrowiu, przechodząc ciężką gruźlicę. W 1951 rozpoczął studiowanie arabistyki w Instytucie Orientalistycznym, jednakże przerwał naukę w 1952Seweryn Kuśmierczyk: Kalendarium życia i twórczości Andrieja Tarkowskiego. „Kwartalnik Filmowy” 1995, nr 9-10, wiosna-lato.. W 1955 pod wpływem matki wziął udział w geologicznej ekspedycji badawczej Nigrizłoto organizowanej przez Kirgiski Instytut Złota. W wyprawie na Syberię do kraju Turuchańskiego uczestniczył przez kilkanaście miesięcy jako zbieracz próbekSeweryn Kuśmierczyk: Przedmowa. W: Andriej Tarkowski: Kompleks Tołstoja. Warszawa, Wydawnictwa Pelikan, 1989. s. 5, ..