W kwietniu 1945 natomiast został ponownie wybrany na sędziego okręgowego.
Podczas startu do wyborów do Senatu w 1946 roku nie dawano mu praktycznie szans. Najpierw musiał otrzymać nominację swojej partii i pokonać Roberta M. La Follette’a, syna wieloletniego republikańskiego senatora z Wisconsin „Fighting Bob” La Follette’a. Udało się to między innymi dlatego, że przeciwnik McCarthy’ego był przez kilka lat poza Partią Republikańską, przewodząc Partii Postępu. Zwycięstwo było minimalne i po nim przyszło łatwe zwycięstwo z kandydatem Demokratów. McCarthy mając 38 lat został najmłodszym senatorem kadencji.
Pierwsze lata swojej kadencji McCarthy spędził bez rozgłosu i zajmował się m.in. sprawami racjonowania cukru.
W 1949 jako młodszy rangą członek komisji senackiej usiłował wywrzeć nacisk na złagodzenie kary dla niemieckich zbrodniarzy wojennych z Waffen-SS, Joachima Peipera i jego żołnierzy z Kampfgruppe Peiper, skazanych za dokonanie masakry w Malmédy w 1944. W niepublikowanych wspomnieniach żona McCarthy’ego tłumaczy zaangażowanie w obronę esesmanów jego obawą, że „ten rodzaj «sprawiedliwości» mógłby zostać w przyszłości obrócony przeciwko nam”.