Został odrzucony przez kilka szkół, w tym Juilliard School i dwukrotnie przez Carnegie Mellon University, zanim został przyjęty do California Institute of the Arts. Reubens przeniósł się do Kalifornii, gdzie pracował w kuchniach restauracji i jako sprzedawca Fuller Brush.

W latach 70. Reubens zaczął występować w lokalnych klubach komediowych i wystąpił czteryrazy gościnnie w The Gong Show. Wkrótce dołączył do grupy improwizatorów The Groundlings z siedzibą w Los Angeles. Pozostał członkiem trupy przez sześć lat, współpracując m.in. z Philem Hartmanem. Hartman i Reubens zostali przyjaciółmi i często razem pisali i pracowali nad materiałem. Debiutował na kinowym ekranie w niewielkiej roli kelnera w komedii muzycznej Johna Landisa Blues Brothers (1980).

Zmarł w wieku 70 lat na chorobę nowotworową, z którą zmagał się od sześciu lat, ale nie ujawnił swojej diagnozy opinii publicznej.