Pierwsze próby pisania podejmował już w trakcie studiów harwardzkich, w 1947 r. (publikacje w studenckim periodyku Harvard Advocate), jednak debiutancki tomik poezji (A City in Winter and Other Poems) opublikował dużo później, w 1952 r. Debiut ten odbił się szerokim echem w kręgach nowojorskiej bohemy artystycznej. Frank O’Hara stał się znaczącą postacią tego środowiska, przyjaźnił się m.in. z malarzami Larrym Riversem, Willemem de Kooningiem i Jacksonem Pollockiem oraz poetą Kennethem Kochem. We wczesnych latach 60. O’Hara prowadził w nowojorskiej New School cieszące się dużą popularnością warsztaty poetyckie.
O’Hara drukował swoje wiersze w awangardowych pismach i niszowych wydawnictwach w bardzo małym nakładzie, przez co był praktycznie nieznany poza wąskim kręgiem artystów i pisarzy. Szerokiej publiczności stał się znany dopiero po przedwczesnej śmierci w 1966 r. Nie przywiązywał do swojej poezji większej wagi, wiersze (o tematyce niemal bez wyjątku, autobiograficznej) pisał pospiesznie i zapisywał na luźnych kartkach papieru. Swoją twórczość traktował wyjątkowo niefrasobliwie i ocalała ona w dużej mierze dzięki zapobiegliwości jego przyjaciół.