Karierę na scenie muzycznej rozpoczął w pierwszej połowie lat 50., występując ze słynnym jazzowym big-bandem Erica Deansa; w późniejszych latach przewinął się także przez kilka innych mniej znanych zespołów. Od roku 1956 był regularnie angażowany jako muzyk sesyjny przez dwóch najważniejszych wówczas na wyspie producentów: Duke'a Reida i Clementa "Sir Coxsone'a" Dodda. Drugi z nich, po otwarciu w roku 1962 swojego własnego, legendarnego dziś Studia One, postanowił spośród najlepszych pracujących dla niego muzyków utworzyć mającą je wesprzeć supergrupę. Późną wiosną 1964 roku formacja ta przyjęła swój ostateczny kształt – wśród dziewięciorga tworzących ją instrumentalistów znalazł się także Drummond – i tak narodzili się The Skatalites, najsłynniejszy zespół ska wszech czasów, który mimo iż istniał tylko przez niewiele ponad rok, zdołał w tym czasie zrewolucjonizować całą muzykę jamajską.
Najważniejszą przyczyną rozpadu The Skatalites była tragedia, jaka dotknęła grupę właśnie za sprawą cierpiącego na poważne zaburzenia psychiczne Drummonda. W noc sylwestrową 1964/65 muzycy grali podczas zabawy w klubie La Parisienne w dzielnicy Harbour View;