Podobno grupa początkowo nazywała się Six Ton Budgie.

Działalność muzyczna thumb|300px|Burke Shelley i Steve Williams (za perkusją), 1981 Pod koniec roku 1967 założył zespół Budgie. Powiedział kiedyś, że Budgie będzie trwać tak długo, jak długo będzie mógł utrzymać gitarę w rękach, tudzież ustać na scenie. Głos Burke’a porównywano do Geddy’ego Lee z Rush, choć Shelley śpiewał ostrzej. W początkach lat 70. Burke był wyznawcą buddyzmu – gotował specjalne zdrowe jedzenie i podróżował po Azji w poszukiwaniu siebie, lecz ostatecznie powrócił do wiary chrześcijańskiej.

Początkowo pozostawał pod sporym wpływem rewolucji hippisowskiej, co widać w akustycznych nagraniach Budgie, z czasem jednak jego gra w zespole stała się cięższa, a styl bliższy nurtowi heavy metalu. W jego repertuarze sporo miejsca zajmują również sentymentalne bluesowe kompozycje. Z początkiem lat 80. wzbogacił brzmienie grupy o elementy popowe i funkoweAllMusic Guide Review of „Impeckable”, a Budgie's album, a nawet soft rockowe. W tym czasie jego piosenki zaczęły nieść ze sobą treści chrześcijańskieAllmusic's Guide on Deliver Us from Evil.