Jego rodzeństwo stanowili: Piotr Hipolit (1794–1859), Marianna Angela (?–1800), Józefa (1796–?), Teofila Tekla (~1800–?), Kajetan Józef (1801–1873) i Pelagia (?–1806).
W dniu 13 lutego 1836 roku poślubił w Kaliszu Aleksandrę Scholastykę Przechadzką herbu Prus II (~1814–1895), córkę Wincentego Dominika, właściciela dóbr Wola Rożostowa w powiecie konińskim i Marianny z Petrykowskich. Wincenty Dominik był bratem Hipolita Przechadzkiego.
Alojzy Gonzaga z żoną Aleksandrą mieli co najmniej siedmioro dzieci. Były to: Marianna Alojza Leokadia (1836–1847), Dezyderia (1839–1868), Józefa Aleksandra (1841–?), Helena Cecylia (1842 –1852), Alojza Leokadia (1847–?), Maria Józefa (1849–1918), Aleksander Wincenty (1852–1935).
Alojzy Gonzaga zmarł 23 maja 1868 roku w Warszawie, został pochowany w kościele parafialnym w Galewie (powiat turecki).
Uwagi
Przypisy podaje, że Kostecki wstąpił na posadę rządową 9 października 1824 roku.
AGAD w Warszawie, Deputacja Szlachecka Guberni Warszawskiej, Akta tyczące się wylegitymowanej szlachty oddziału mazowieckiego, miasta Warszawy, vol. V, sygn. 1/423/0/-/122, Alojzy Kostecki, podprokurator sądu apelacyjnego, k. 85–87 i 105–107
AGAD w Warszawie, Rada Stanu Królestwa Polskiego, sygn.