Kariera piłkarska Allison w młodości próbował swoich sił w piłce nożnej, nigdy jednak nie odniósł sukcesów w profesjonalnym futbolu i najlepszym okresem jego kariery była gra w Shildon. Po jego przyjeździe do Londynu w 1906 szybko zaczął być kojarzony z Woolwich Arsenal. Stał się redaktorem klubowych audycji i kontynuował swą współpracę z zespołem po jego przeniesieniu się na Highbury i zmianie nazwy na "Arsenal". Po zakończeniu I wojny światowej został członkiem zarządu, później mianowano go sekretarzem, aż w końcu przyjął urząd dyrektora generalnego.
Po nagłej śmierci legendarnego menadżera Arsenalu Herberta Chapmana w styczniu 1934, Allison latem tego samego roku został mianowany oficjalnym następcą Chapmana. Po wodzą Chapmana i tymczasowego menadżera Joego Shawa Arsenal dwa razy z rzędu zdobył mistrzostwo Anglii (w sezonach 1932/1933 i 1933/1934) i Allison dzięki ponownym mistrzostwie w sezonie 1934/1935 skompletował hat-tricka. Wygrał również FA Cup w sezonie 1935/1936 i ponownie ligę w sezonie 1937/1938.