Wychowywał pasierbicę Ewę Matuszewską (1919–1944), która jako studentka medycyny (ps. Mewa) służyła w trakcie powstania warszawskiego i została zamordowana przez Niemców 26 września 1944 w trakcie udzielania pomocy rannym.
Krytyka W opinii części historyków, przede wszystkim Jerzego Cynka, Rayski był jedną z głównych osób odpowiadających za zły stan sprzętowy i nieprzygotowanie do wojny polskiego lotnictwa wojskowego we wrześniu 1939 roku, przede wszystkim brak nowoczesnego lotnictwa myśliwskiegoJerzy Cynk, Polskie lotnictwo wojskowe na rozdrożu, [w:] Skrzydlata Polska nr 9/2006, s. 51–52.. Inni historycy (np. Jerzy Pawlak, Edward Malak) oceniają gen. Rayskiego pozytywnie. Zdaniem krytyków, duży negatywny wpływ na to miał jednak system dowodzenia polskimi siłami zbrojnymi i planowania obronnego, wprowadzony po przewrocie majowym przez Piłsudskiego, ponieważ ustanawiał dwie odrębne i niezależne gałęzie: tor pokojowy i tor wojenny. Rayski jako dowódca Lotnictwa, podporządkowany Ministerstwu Spraw Wojskowych, pełnił swoje funkcje jedynie w czasie pokoju, a jego zadania przewidywały jedynie bieżące administrowanie sprawami lotnictwa, podczas gdy studia i planowanie strategiczne leżały w gestii toru wojennego – Generalnego Inspektoratu Sił Zbrojnych (GISZ), którego prace były tajne, a także Sztabu Głównego.