Rodzina W 1839 poślubił Paulinę Dorotheę Antoinettę Lagers (1810–1884), córkę luterańskiego pastora Georga Hendrika Lagersa, urodzonego w Hamburgu, mieszkającego od 1787 w Holandii, i jego drugiej żony Johanny Marii z domu Bätz. Rodzina Lagerów poznała Witte’a podczas pracy nad organami zbudowanymi przez Bätza w w Amsterdamie, gdzie pracował pastor Lagers. Witte postanowił związać swoje życie z Utrechtem i zaczął uważać się za Holendra. Z małżeństwa urodziło się sześciu synów, z których najstarszy, (1840–1902), był z wykształcenia organmistrzem; po śmierci ojca w 1873 przejął firmę prowadził ją do końca życia.

W nekrologu Johanna Frederika Wittego z 15 lutego 1902 w czasopiśmie „Weekblad voor Muziek”, organmistrz M. Maarschalkerweerda napisał: „Jest pewne, że tak długo, jak będzie istniała sztuka budowy organów, nazwa firmy Bätz, a zwłaszcza pana Wittego, ojca i syna, pozostaną w chwalebnej pamięci wszystkich, a obecni i przyszli budowniczowie organów, będą musieli przyłączyć się do mnie w hołdzie, jaki należny jest prawdziwej sztuce, na który zmarły artysta tak bardzo zasługuje”.