Polacy nie mają przecież zmysłu organizacyjnego, jak oni to zrobili? Niewiarygodne! A te bzdury o obozach koncentracyjnych! Nikt u nas nie dawał temu wiary i nie tylko u nas. Spotykałem Amerykanów, którzy również twierdzili, że to komunistyczna propaganda. Nawet dziadek i tata podawali takie wiadomości w wątpliwość (...)” – napisał wiele lat później.

Stopniowo jednak poznawał prawdziwą historię II wojny światowej. Zdecydował się pozostać w Polsce. Musiał nauczyć się od początku języka polskiego i mimo początkowych trudności w asymilacji od 1956 rozpoczął studia na wydziale Handlu Zagranicznego SGPiS. Następnie studiował na Wydziale Prawa Uniwersytetu Warszawskiego oraz na Wydziale Germanistyki UW i UAM (studia doktoranckie). Był uczniem profesora Thomasa Höhlego oraz profesora Jana Chodery (doktorat).

Ożenił się z Polką, Jolantą Wrońską, z którą ma syna Alfreda. Z drugiego małżeństwa z Grażyną urodzili się córka Patrycja i syn Paweł.

Przez całe życie działał na rzecz zbudowania pomostu porozumienia pomiędzy Niemcami i Polakami.

Jego losy nie były typowe: ocenia się, że do Polski wróciło zaledwie 10% z ponad 200 tys. wywiezionych i zgermanizowanych przez nazistów polskich dzieci.

Film Historia życia Alojzego Twardeckiego stała się czterokrotnie tematem filmów dokumentalnych.