O’Hara uzasadniał potrzebę budowy wieży na szczycie Skały Gibraltarskiej rzekomą możliwością obserwacji działań floty hiszpańskiej w porcie w Kadyksie, leżącym w odległości 97 km od tego miejsca. O’Hara był osamotniony w swoich poglądach na ten temat, co nie przeszkodziło mu w przeforsowaniu projektu budowy wieży. Budowlę wzniesiono w latach 1787-1791. Głównymi materiałami konstrukcyjnymi były: ciosany kamień oraz żelazoPhillips, Sir Richard (1811). The Monthly magazine, Volume 31. Sherwood, Gilbert and Piper. s. 430. Dostęp z 21 października 2012.. gibraltar.gov.uk. Government of Gibraltar. Dostęp z 21 października 2012.The Friend, Volume 7. The Friend. 1834. s. 338. Dostęp z 21 października 2012..
Po ukończeniu budowy okazało się, że obawy oponentów O’Hary były słuszne. Port w Kadyksie w ogóle nie był widoczny ze szczytu wieży, ponieważ zasłaniały go góry. Wkrótce, podczas gwałtownej burzy, w budynek uderzył piorun, poważnie uszkadzając konstrukcję i zabijając jednego ze strażnikówAlden, Henry Mills (1877). Harper’s new monthly magazine, Volume 55. Harper & Brothers. s. 78. Dostęp z 20 października 2012.The Friend, Volume 7. The Friend. 1834. s. 338. Dostęp z 21 października 2012.. Około roku 1811 brytyjski garnizon Gibraltaru ochrzcił wieżę mianem „Szaleństwa O’Hary” (O’Hara’s Folly).