Uczęszczał do szkoły średniej Franklin High School w Los Angeles. Naukę kontynuował w Los Angeles City College, po czym powrócił na wschód do Bennington w Vermont, gdzie uczęszczał do Bennington College.
Wkrótce opuścił szkołę i stworzył z dwójką przyjaciół folkową trio The Tarriers, które w 1956 zdobyło 4. miejsce w rankingu „The Banana Boat Song”. W 1957 grupa odniosła sukces podczas europejskiej trasy koncertowej. Debiutował na ekranie jako lider The Tarriers w dramacie muzycznym Calypso Heat Wave (1957) z Mayą Angelou i Joelem Greyem. W 1958 Arkin opuścił The Tarriers, aby dołączyć do dziecięcego zespołu Baby Sitters, z którym nagrał cztery albumy z piosenkami dla dzieci.
W 1959 Arkin dołączył do nowej trupy komediowej o nazwie Second City w Chicago. W 1961 wraz z Second City debiutował na Broadwayu w rewii From the Second City.
W 1963 otrzymał Tony Award za rolę Davida Kolowitza w broadwayowskim spektaklu Enter Laughing w reżyserii Gene’a Saksa.