Życie rodzinne Władysław Grotowski ożenił się z Michaliną z Dziewolskich (1894–1967), wnuczką Hieronima. Władysław i Michalina byli właścicielami dużego (45 pokoi) luksusowego Pensjonatu „Granit” (pokoje były wyposażone w indywidualne łazienki) przy ul. Jagiellońskiej 70. Pensjonat został zbudowany w 1937 roku. Autorem pomysłu sugerującego podobieństwo do warownego zamku był architekt Stanisław Dziewolski (bratanek Michaliny, projektant między innymi Hotelu Modrzewie i Inhalatorium w Szczawnicy). Willa została wzniesiona w głębi ogrodu, w pewnym oddaleniu od ulicy. Fragmenty jej elewacji zostały obłożone kamieniem, na wzór śródziemnomorski. Właściciele stawiali na najwyższy poziom usług, co zaowocowało szybkim uzyskaniem przez pensjonat statusu miejsca dla śmietanki towarzyskiej. Do „Granitu” w ciągu ostatnich paru lat przed wojną przyjeżdżali bogaci wczasowicze, wśród których było wielu wysokich urzędników państwowych, przemysłowcy, obcokrajowcy i dyplomaci. W 1938 roku wypoczywał tu konsul państewka Mandżukuo. Po II wojnie światowej w willi mieścił się pensjonat Akademii Górniczo-Hutniczej w Krakowie. Pod koniec XX wieku pensjonat został odzyskany przez spadkobierców przedwojennych właścicieli i w ich rękach pozostaje do dzisiaj.