Dzieciństwo Pochodził ze szlachty mazowieckiej. Ojciec malarza Józef Adam dzierżawił majątek BoczkiWcześniej rodzina Chełmońskich związana była z dworem Radziwiłłów w Nieborowie.. Dziadek, również Józef, był osobistym sekretarzem Michała Hieronima Radziwiłła. Józef Marian Chełmoński urodził się 7 listopada 1849 w folwarku w Boczkach, akt chrztu spisano w kościele kolegiackim w Łowiczu 27 kwietnia 1850 w obecności ojca Józefa Adama Chełmońskiego, właściciela folwarku Boczki, księdza Józefa Rojewskiego, wikarego kolegiaty w Łowiczu, i włościanina Stanisława Kurackiego. Chrzestnymi byli Antoni Chełmoński i Florentyna Łoskowska.
Matka artysty, Izabela z Łoskowskich Chełmońska, miała opinię osoby o dużej kulturze, rozmiłowanej w sztuce i literaturze. Wnuczka wspominała ją jako nieziemską istotę o słodyczy charakteru nie mającej granic. Ojciec malarza, właściciel folwarku Boczki i wójt gminny, był utalentowany muzycznie i malarsko: grał na skrzypcach oraz rysował szkice okolic Nieborowa i Teresina. Dziadek Wincenty Łoskowski był oficerem w armii napoleońskiej i m.in. brał udział w oblężeniu Saragossy.