James już jako dziecko wyróżniał się wielką inteligencją (jego IQ wynosi ponad 180), studiując z zapałem m.in. algebrę liniową na uniwersytecie. W tamtym czasie marzył o wykonywaniu pracy okulisty lub byciu policjantem. Gdy szyba spadła mu na ramię, uszkadzając arterię, lekarze założyli mu ponad dwieście szwów. Ten wypadek pokrzyżował jego plany, uniemożliwiając zarówno grę na gitarze, jak i pracę w klinice medycznej.
Dorastał w Warwick w stanie Rhode Island, gdzie w 1965 ukończył do Pilgrim High School. Krótko służył jako ministrant w kościele katolickim. Dzięki stypendium studiował na wydziale nauk politycznych w Massachusetts Institute of Technology w Cambridge w stanie Massachusetts, ważnym centrum amerykańskiego życia kulturalnego.
Kariera W 1970 zadebiutował na Broadwayu w sztuce The Borstal Boy. Występował jednocześnie na deskach scenicznych off-Broadwayu w Nowym Jorku. Jako młodzieniec otrzymał nagrodę na New England Theatre Festival za kreację w mało znanej sztuce. W 1971 odebrał nagrodę Obie za udział w spektaklu Saved. W 1972 otrzymał Theatre World za występ w Moonchildren.