Następnie przeszedł do Korpusu Ochrony Pogranicza i służył w 17 batalionie KOP „Dawidgródek”. 31 marca 1924 został mianowany kapitanem ze starszeństwem z dniem 1 lipca 1923 i 56. lokatą w korpusie oficerów piechoty. W grudniu 1931 został zwolniony z zajmowanego stanowiska i oddany do dyspozycji dowódcy KOP, a z dniem 31 maja 1932 przeniesiony w stan spoczynku.
W czasie kampanii wrześniowej 1939, po agresji ZSRR na Polskę, w nieznanych okolicznościach dostał się do niewoli sowieckiej. Początkowo był przetrzymywany w obozie w Putywlu, a następnie od listopada 1939 przebywał w obozie jenieckim w Kozielsku. W odnalezionym dzienniku, którego autorem był inny jeniec mjr Kazimierz Szczekowski, pojawiła się notka, że Zdzisław Goszczyński otrzymał w obozie od rodziny paczkę żywnościową, której zawartością podzielił się z innymi oficerami, organizując suty jak na tamtejsze warunki posiłek na Wielkanoc 24 marca 1940. 3 kwietnia 1940 przekazano go do dyspozycji naczelnika Zarządu NKWD Obwodu Smoleńskiego – lista wywózkowa bez numeru z 2 kwietnia 1940, pozycja 57. Został zamordowany między 4 a 5 kwietnia 1940 w Katyniu przez funkcjonariuszy Obwodowego Zarządu NKWD w Smoleńsku oraz pracowników NKWD przybyłych z Moskwy na mocy decyzji Biura Politycznego KC WKP(b) z 5 marca 1940.