W drużynie „Aptekarzy” grał do roku 2000 a jego największymi osiągniętymi z tym klubem sukcesami było 2-krotne wicemistrzostwo Niemiec w 1999 i 2000 roku.
Latem 2001 roku gra Kovača na tyle podobała się zarządowi i trenerowi Bayernu Monachium, że bez wahania zapłacili Bayerowi 8,5 miliona euro i Kovač wkrótce zameldował się w stolicy Bawarii. Przez pierwsze 2 sezony w Bayernie Kovač grał wraz z Thomasem Linke lub Samuelem Kuffourem na środku obrony. W sezonie 2003/2004 Kovač powoli wypadł ze składu a wpływ na to miały kontuzje, a także zakup przez Bayern Argentyńczyka Martina Demichelisa. Latem 2004 doszedł jeszcze Brazylijczyk Lúcio i Kovač ciągle miał kłopoty z miejscem w składzie. Za to Bayern za czasów gry Roberta zdobył 2 razy tytuł mistrza Niemiec (2003 i 2005), a także Puchar Niemiec w 2004 roku. Gdy w lecie 2005 Robertowi skończył się kontrakt postanowił odejść do Juventusu. W Juventusie, podobnie jak w ostatnich latach w Bayernie także miał problemy z wywalczeniem miejsca w pierwszym składzie, co spowodowało, że w Serie A rozegrał tylko 18 meczów, w których strzelił 1 gola. Juventus został mistrzem Włoch, ale ze względu na aferę z kupowaniem meczów, odebrano zespołowi tytuł mistrza kraju, a klub zdegradowano do Serie B.