Rodzice Andrzeja nie mieli nigdy do czynienia ze sportem. Trzech braci próbowało sił w piłce nożnej. W szkole podstawowej trenował siatkówkę i piłkę ręczną pod okiem Józefa Kopaczeli, byłego reprezentanta Polski w siatkówce.
Początek kariery piłkarskiej W 1968 roku Szarmach wygrał turniej szkół średnich w Gdańsku i pojechał na Ogólnopolskie Igrzyska Młodzieży Szkolnej do Lublina. Szarmach zdobył w nich tytuł króla strzelców i pod groźbą nieskończenia szkoły został wciągnięty do juniorów Polonii Gdańsk przez trenera Ludwika Arnolda. Trenował w tajemnicy przed rodzicami, dla których najważniejsza była nauka. W sezonie 1969/1970 wracając rowerem z wygranych derbów przeciwko Lechii Gdańsk, Szarmach został zaatakowany przez kibica. Rana na plecach okazała się na tyle rozległa, że wymagane było szycie dwunastoma szwami i zagipsowanie korpusu. W 1970 roku działająca przy Stoczni Gdańskiej Polonia i RKS Stocznia Północ połączyły się w jeden klub – Stoczniowiec Gdańsk, w którym grę rozpoczął Szarmach. Dobrymi występami w III lidze zwrócił na siebie uwagę Arki Gdynia, do której przeniósł się w sezonie 1971/1972.