Od października 1941 działał jako rezydent w Waszyngtonie (ps. „Maksim”, „Wasilij Zubilin”). Przed wyjazdem do USA był instruowany osobiście przez Józefa Stalina, któremu potem regularnie referowano materiały dostarczane przez Zarubina. Najprawdopodobniej polem działalności było głównie szpiegostwo przemysłowe. Przebywał na placówce jako trzeci, a następnie drugi sekretarz ambasady. Towarzyszyła mu żona Jelizawieta („Elsa”) Rosenzweig vel Liza Gorska, doświadczona pracownica radzieckiego wywiadu, która zajmowała się szpiegostwem atomowym. Zarubin miał wiele kontaktów wśród cudzoziemców, dzięki czemu z dużym powodzeniem osobiście werbował agentów oraz pracował z najważniejszą agenturą. Pracowitość stała się przyczyną jego wpadki. Częste spotkania z agentami i związane z tym wypady za miasto wzbudziły zainteresowanie kontrwywiadu FBI. W rezultacie, uznany za persona non grata, w 1944 został wydalony ze Stanów Zjednoczonych. Po powrocie do ZSRR pracował w aparacie centralnym NKWD oraz MGB.

W 1948 w wieku 54 lat przeszedł do rezerwy ze względu na stan zdrowia.