Działał w niej wiele lat, wybrany do zarządu głównego organizacji.
Zasadniczą treścią dokonań Romberga było wspieranie działalności na rzecz budowy i organizacji kościoła ewangelickiego w okręgu bydgoskim. Do 1847 r. udało mu się powołać 15 nowych gmin ewangelickich wraz ze świątyniami, plebaniami i szkołami. W końcu 1847 r. kościół ewangelicki w bydgoskim okręgu regencyjnym tworzyło 5 superintendentur i 45 gmin wyznaniowych, które skupiały 172 tys. wiernych. Romberg był zwolennikiem dalszej rozbudowy organizacyjnej kościoła ewangelickiego, czemu dał wyraz w specjalnym memoriale opracowanym na zlecenie Gustav Adolf-Verein wiosną 1848 r. Stwierdził wówczas, że istnieje potrzeba powołania 29 nowych gmin i budowy kościołów. Planował utworzenie 6 gmin w powiecie bydgoskim, 4 w chodzieskim, 8 w czarnkowskim, po 1 w gnieźnieńskim, wągrowieckim i inowrocławskim, 3 w mogileńskim, 2 w szubińskim i 3 w wyrzyskim.
Oprócz działalności duszpasterskiej i administracyjnej parał się publicystyką, dotyczącą problematyki kościoła ewangelickiego. W 1864 r. przeszedł tu emeryturę. Zmarł 30 grudnia 1866 r. w Bydgoszczy. Pochowano go na cmentarzu ewangelickim przy ul. Jagiellońskiej (obecnie Park Ludowy im. W. Witosa). Był żonaty z Emma Justine Josephine Marianne z domu Dalkowską. Miał kilkoro dzieci.