Karolewo w czasie II wojny światowej W marcu 1939 r. do Zakładu Opiekuńczego wkroczyło Gestapo. W roku 1940 ów zakład został zlikwidowany. Obłożnie chorych uśmiercono za pomocą zastrzyków (eutanazja), a pozostałych wywieziono do Kortowa w Olsztynie. Organy z kościoła trafiły do wojskowego ośrodka wypoczynkowego.
W Karolewie powstały koszary SS. Jednostka ta służyła do ochrony „Wilczego Szańca”. Istniejący tu wcześniej szpital przeznaczony został na potrzeby obsługi medycznej załogi „Wilczego Szańca” (obecnie w dawnym budynku szpitalnym mieszczą się pomieszczenia dydaktyczne szkół ponadpodstawowych). W Karolewie organizowano też kursy pielęgniarek. Po zamachu na Hitlera 20 lipca 1944 r. do szpitala w Karolewie przywożono rannych oficerów, których Hitler odwiedził 21 lipca. 22 lipca zmarł w szpitalu wojskowym generał Günther Korten.
Przed spodziewanymi nalotami na Królewiec na teren koszar SS pod koniec 1943 r. do Karolewa ewakuowano niektóre zbiory. W 1945 r. Karolewo zajęła jednostka Armii Radzieckiej, która stacjonowała tu do wiosny 1946 r. Gdy wojsko radzieckie opuściło Karolewo, w kościele, który SS wykorzystywało na magazyn, znaleziono 33 skrzynie ze zbiorami archeologicznymi z Prussia Museum w Królewcu.