W roku 1889 za namową Williama Oslera przyjął posadę szefa rozpoczynającej dopiero działalność kliniki ginekologii szpitala Johns Hopkins Hospital w Baltimore. Obok Oslera, Halsteda i Welcha zaliczany jest do Wielkiej Czwórki () założycieli wydziału medycznego Uniwersytetu Johnsa Hopkinsa.
Prywatna praktyka ginekologiczna Kelly’ego przyciągała wiele zamożnych klientek będąc źródłem dużych przychodów – 30% zarobku przeznaczał on na rzecz organizacji charytatywnych i religijnych.
Osiągnięcia zawodowe i naukowe Kelly był autorem wielu innowacji – zarówno technicznych, jak i chirurgicznych. Jednym z jego wynalazków były tępo zakończone kleszczyki o długim, prostym lub zakrzywionym nosie nazywane kleszczykami Kelly’ego. Opracował też własny cystoskop urologiczny. Był jednym z pierwszych, którzy po odkryciu radu zaczęli stosować ten pierwiastek w leczeniu nowotworów – w tym celu założył w Baltimore prywatną klinikę Kelly Clinic. Przyczynił się do wprowadzenia do codziennej praktyki chirurgicznej wielu ówczesnych nowości, w tym między innymi wchłanialnych szwów, światła elektrycznego jako oświetlenia pola chirurgicznego, podtlenku azotu do znieczuleń, koagulacji elektrycznej i znieczuleń miejscowych do zabiegów chirurgicznych.