Ojciec Karla popierał liberalizm klasyczny i interesował się ideami filozofów: Imanuela Kanta oraz Woltera, które przekazał swojemu synowi. Brał udział w agitacji na rzecz wprowadzenia w Prusach konstytucji i reform, które ograniczyłyby monarchię absolutną. W 1815 roku rozpoczął karierę adwokacką, a w 1819 roku wraz z rodziną wprowadził się w Trewirze do dziesięciopokojowego domu przy Simeonßasse (obecnie Simeonstrasse 8) w pobliżu Porta Nigra. Jego żona, Henrietta Pressburg była holenderską Żydówką, która pozostała przy judaizmie. Henrietta była bardzo opiekuńcza i religijna, co nie pozostało bez wpływu na jej dzieci.
Karl urodził się 5 maja 1818 roku w Trewirze, w budynku 664 przy Brückergasse. W 1928 roku lokal został zakupiony przez Socjaldemokratyczną Partię Niemiec, a współcześnie mieści się tam muzeum poświęcone Marxowi.