Jako szef WUBP w Krakowie kierował walką z podziemiem niepodległościowym, przede wszystkim z oddziałem Józefa Kurasia „Ognia”. Jego działalność na stanowisku szefa WUBP spotkała się z krytyką ze strony kierownictwa Ministerstwa Bezpieczeństwa Publicznego – w wyniku przeprowadzonej jesienią 1945 kontroli w Urzędzie stwierdzono m.in. bałagan w prowadzonej dokumentacji, nieprzestrzeganie zasad tajności, brak kontroli nad działalnością powiatowych UBP oraz „bezprawie Urzędów Bezpieczeństwa”; w wyniku tej kontroli Jan Frey został ukarany dyscyplinarnie. thumb|Jan Frey-Bielecki w stopniu podpułkownika
3 maja 1946 kierował tłumieniem patriotycznych wystąpień młodzieży w Krakowie. Osobiście wjechał samochodem pancernym naprzeciw manifestujących studentów i dał rozkaz strzelania na postrach do demonstrantów z karabinu maszynowego; po rozproszeniu manifestacji na jego rozkaz aresztowano ponad 1000 osób, w tym ok. 800 studentów. Wkrótce po tym Jan Frey otrzymał awans na podpułkownika UB, jednak jego pozycją w aparacie bezpieczeństwa zachwiało uwolnienie 18 sierpnia 1946 przez oddział „Ognia” kilkudziesięciu więźniów z więzienia św. Michała w Krakowie.