Przebudowy na okręt wojenny dokonała pomiędzy czerwcem a październikiem 1941 roku stocznia Brewer Drydock and Repair Co. w Brooklynie. 7 października na kanonierce podniesiono banderę US Navy, po czym przeszła ona do Norfolk Navy Yard celem dokonania ostatecznych prac wyposażeniowych, zakończonych 2 grudnia 1941 roku. 6 grudnia nowy nabytek amerykańskiej floty zawinął do Halifaksu, skąd po dwudniowym pobycie wypłynął w kierunku Islandii. Do Reykjavíku dotarł w drugiej połowie grudnia i wkrótce został przystosowany do pełnienia roli okrętu sztabowego dla dowódcy tworzonej tam bazy US Navy, kontradmirała Jamesa L. Kauffmana. Funkcję tę wypełniał do połowy maja 1942 roku, kiedy admirał, wraz ze swym sztabem, przenieśli się do pomieszczeń dowódczych na lądzie.
18 maja na pokład „Williamsburga” zaokrętował się generał Charles H. Bonesteel III, odbywający wraz ze sztabem inspekcje baz lądowych, zakładanych przez Amerykanów na przybrzeżnych islandzkich wyspach. Pod koniec miesiąca, po powrocie do Reykjavíku i normalnej służby liniowej, kanonierka osłaniała uszkodzony frachtowiec „Gemini”, holowany do Islandii. Okręt pozostawał na wodach północnych do lutego 1943 roku, patrolując tamtejszy akwen.