Rola w inwazji w Zatoce Świń CIA zaangażowała gubernatora Pattersona w sprawę inwazji sił antykomunistycznych na Kubę i obaleniu Fidela Castro. Jego pomoc polegać miała na użyczeniu Stanowej Gwardii Powietrznej, która podlegała mu bezpośrednio, aby przeprowadzić szkolenia członków przyszłej kubańskiej brygady w Nikaragui. Patterson zgodził się, kiedy przedstawiciele wywiadu powołali się osobiście na prezydenta Eisenhowera. Cała sprawa ujrzała światło dzienne w 1997 roku, kiedy znany amerykański dziennikarz śledczy Seymour M. Hersh napisał o niej w swej książce pt. Ciemna Strona Waszyngtonu, rozprawiającej się z mitem prezydentury Kennedy’ego.
Patterson, zaniepokojony ewentualnymi następstwami politycznymi w wyniku inwazji przed wyborami, to jest wzrostem szans republikańskiego konkurenta Kennedy’ego Richarda Nixona, przekazał informacje samemu głównemu zainteresowanemu, który najprawdopodobniej użył ich jako środka nacisku w rozmowach z raczej przychylnymi mu władzami agencji do odroczenia jej terminu.