późniejsze wywiady z Robardsem sugerowały, że trauma związana z rozwodem rodziców, która miała miejsce w latach szkolnych, znacząco wpłynęła na jego osobowość i światopogląd. Miał młodszego brata, Glenna Arnolda (1926–2005). Po rozwodzie miał niewielki lub żaden kontakt z matką. Później wyszła za mąż po raz drugi za Arthura Milburna, czyniąc go swoim ojczymem, choć mógł o tym wiedzieć lub nie w tamtym czasie. Jego ojciec ożenił się po raz drugi z Agnes Elizabeth Lynch.
Jego ojciec odnosił znaczne sukcesy w erze kina niemego, zanim pojawiło się kino dźwiękowe. Nastoletni Robards odnosił sukcesy w sporcie w Hollywood High School w Los Angeles, startował w zawodach lekkoatletycznych, biegając milę w czasie 4:18. Chociaż jego sportowe osiągnięcia wzbudziły zainteresowanie kilku uniwersytetów, podczas II wojny światowej od 1940 Robards służył w US Navy jako radiooperator i był jednym z ocalałych z ataku Japończyków na Pearl Harbor 7 grudnia 1941. Otrzymał Krzyż Marynarki Wojennej, drugie w hierarchii ważności odznaczenie w marynarce wojennej Stanów Zjednoczonych Ameryki. W latach 1946–1947 studiował w American Academy of Dramatic Arts.