Po wybuchu II wojny światowej nadal pracował w Zarządzie Miejskim we Lwowie. W czasie okupacji niemieckiej był zatrudniony w prywatnych przedsiębiorstwach budowlanych. Od 1944 uczył w średniej szkole technicznej zorganizowanej przez władze sowieckie.
W 1945 wyjechał z transportem przesiedleńczym do Wrocławia, gdzie do 1950 kierował Wrocławską Dyrekcją Odbudowy i był dyrektorem Urzędu Budownictwa Miejskiego, wykładał też na Politechnice Wrocławskiej. W 1948 opracował studium koncepcyjne usytuowania Nowej Huty, a w latach 1950–1953 był naczelnym inżynierem budowy kombinatu Nowa Huta. Od 1953 związał się z Gdańskiem. Był wykładowcą na Wydziale Architektury Politechniki Gdańskiej, kierownikiem oraz dziekanem Katedry Budownictwa Miejskiego. W 1967 otrzymał tytuł profesora nadzwyczajnego. W 1968 przeszedł na emeryturę.
Należał do Związku Architektów na Śląsku (przed 1934), Stowarzyszenia Architektów Polskich (SARP), Oddział Lwów (przed 1939), ZO SARP (1937–1938), Oddział Wybrzeże (po 1947), Prezes ZO SARP (1954–1956). Rzeczoznawca urbanistyczny Związku Miast Polskich (przed 1939).thumb|240px|Grób prof. Józefa Rybickiego na cmentarzu Srebrzysko Był żonaty, miał dwoje dzieci: syna i córkę.