Życie prywatne thumb|Maria Gruszecka, siostra Celiny Wakacje Józef spędzał z rodziną w Musiczach w majątku dziadka Józefa Połońskiego. Z rodziną i sąsiadami często urządzano wspólne wycieczki, spacery, polowania, grzybobrania, jeżdżono konno. Tam jego brat Wiktor Kalinowski zakochał się w swej przyszłej żonie Marii Gruszeckiej ze Studzionek, jego brat Karol poznał Martynę i Sabinę (kolejne swe żony), a Józef Kalinowski zakochał się w Celinie Gruszeckiej (siostra jego bratowej, Marii Gruszeckiej). Był to okres pod koniec jego nauki w Petersburgu (1853–1856). Celina, z którą on bardzo głęboko się zaprzyjaźnił, była osobą bliską jego ideałowi i oni byli związani emocjonalnie.
Podczas wakacji 1861 roku wyjechał na leczenie do Ciechocinka. Tam spotkał się z Ludwiką z Drewnockich Młocką, przyjaciółką i krewną Marii Gruszeckiej. Ludwika Młocka starała się swatać Józefa z Celiną Gruszecką. Ale plany matrymonialne, mimo dużego wzajemnego zainteresowania spełzły na niczym, gdyż Józef nie posiadał stałego zajęcia zawodowego, zapewniającego utrzymanie rodziny. Chociaż Józef był nawet gotów kupić ziemię w okolicach Studzionek i zająć się pracą na roli. Matka dziewczyny, podobnie jak żona jego brata Wiktora, była przeciwna małżeństwu. Józef długo żywił sympatię do Celiny, przyciągały go jej uroda i dobroć.