Z drużyną narodową brał udział w Mistrzostwach Świata 1994 i 1998, jednak z obu turniejów reprezentacja odpadała w ćwierćfinale. W 1996 r. Niemcy triumfowali w mistrzostwach Europy, a Klinsmann, mimo iż nie grał w dwóch pierwszych meczach (w pierwszym pauzował za kartki z eliminacji, w drugim z powodu kontuzji), strzelił podczas Euro trzy gole i przyczynił się do zdobycia złotego medalu.
W maju 1997 zdecydował się opuścić Bayern. Wybrał Sampdorię, ale szybko odszedł po konflikcie z trenerem Vujadinem Boškovem. Przez krótki czas grał ponownie w Tottenhamie, a po Mundialu 1998 zakończył piłkarską karierę i wyjechał na stałe do Stanów Zjednoczonych.
1970–1974 – TB Giengen 1974–1978 – SC Geislingen 1978–1984 – Stuttgarter Kickers 1984–1989 – VfB Stuttgart 1989–1992 – Inter Mediolan 1992–1994 – AS Monaco 1994–1995 – Tottenham Hotspur F.C. 1995–1997 – Bayern Monachium 1997–1997 – UC Sampdoria 1998–1998 – Tottenham Hotspur F.C. 2002–2003 – Orange County Blue Star (pod nazwiskiem Jay Goppingen)