W 1981 debiutował na Broadwayu w roli Joego w komedii muzycznej Merrily We Roll Along. W 1982 wystąpił w produkcji off–broadwayowskiej Forbidden Broadway. Uznanie krytyków zdobył za występ w musicalu Jerome Robbins' Broadway (1989). Za tę rolę otrzymał Tony Award. W 1989 przeniósł się do Kalifornii, aby pracować nad serialem komediowym Seinfeld, który początkowo nosił tytuł The Seinfeld Chronicles. Za tę rolę zdobył nagrodę Gildii Scenarzystów (1995). Podczas swojego udziału w Seinfeld, który był emitowany przez dziewięć sezonów, Alexander pojawił się również w kilku filmach i innych programach telewizyjnych.
31 maja 1981 ożenił się z aktorką Daeną E. Title. Mają dwóch synów; Gabriela (ur. 1991) i Noaha (ur. 1996).
Filmografia Reżyser Kroniki Seinfelda (Seinfeld, 1992, sezon 3, odc. 20 „The Good Samaritan”) For Better or Worse (1995) Just Looking (1999) Zabójcze umysły (Criminal Minds, 2009, sezon 4, odc. 20 „Conflicted”) Franklin & Bash (2012, sezon 2, odc. 8 „Last Dance”) Mike i Molly (Mike & Molly, 2012, sezon 3, odc.