Życie prywatne Piotr Hipolit był synem Józefa Kosteckiego i Wiktorii z domu Kwaśniewskiej. Został ochrzczony 6 stycznia 1795 roku w Kolegiacie Kaliskiej, a jego rodzicami chrzestnymi byli Stanisław Kłossowski, kustosz kolegiaty i Kunegunda z Grodzickich Łubieńska, druga żona Piotra Łubieńskiego, podczaszego szadkowskiego. Jego rodzeństwo stanowili: Marianna Angela (?–1800), Józefa (1796–?), Teofila Tekla (~1800–?), Kajetan Józef (1801–1873), Alojzy Gonzaga (~1803–1868) i Pelagia (?–1806).

W dniu 8 stycznia 1834 roku w Chlewie ożenił się z Pauliną Karśnicką. Jego żona pochodziła z rodziny Karśnickich herbu Jastrzębiec przydomku Fundament, której przedstawiciele w XVIII–XIX wieku byli właścicielami, m.in. Chlewa w parafii Bukowiec oraz Czachór.

Piotr Hipolit z żoną Pauliną mieli co najmniej troje dzieci. Były to: bliźniaczki Aniceta (1836–1903, późniejsza Kamieńska, jej wnukiem był m.in. Tadeusz Mazurkiewicz) i Melania (1836–1906), urodzone w Wójcinku oraz syn Władysław (urodzony w 1837 roku, zmarł po ok. 3 miesiącach).

Piotr Hipolit zmarł 26 grudnia 1859 roku w Wodzisławiu. Zachował się protokół postępowania spadkowego.

Ordery i odznaczenia Krzyż Złoty Orderu Virtuti Militari nr 1334 – 2 czerwca 1831 Order św.