Po Mundialu 2006, na którym Niemcy zajęli 3. miejsce, Klinsmann złożył rezygnację, a niemiecka federacja mianowała jego następcą Joachima Löwa. Objął on funkcję 1 sierpnia 2006. Jego największym sukcesem trenerskim jest doprowadzenie reprezentacji Niemiec do złotego medalu na Mistrzostwach Świata w Brazylii w 2014 roku, srebrnego medalu Mistrzostw Europy w 2008 roku i brązowego Mistrzostw Świata w RPA 2010 wygraną z Urugwajem 3:2. Na Euro 2012 Niemcy wygrali grupę B pokonując Portugalię 1:0, Holandię 2:1 i Danię 2:1. W ćwierćfinale pokonali Greków 4:2. Faworyzowani Niemcy przegrali w półfinale z Włochami 1:2. Dwie bramki dla Włochów zdobył Mario Balotelli, a dla Niemców z rzutu karnego Mesut Özil. Na Mistrzostwach Świata w 2014 jego reprezentacja trafiła do grupy z Portugalią, Ghaną i USA. Niemcy zdobyli w grupie 7 punktów po zwycięstwach z Portugalią i USA (4:0 i 2:1) i remisie z Ghaną 2:2. W 1/8 finału pokonali po dogrywce Algierię 2:1, w ćwierćfinale ograli Francję 1:0. W półfinale rozgromili reprezentację Brazylii 7:1. W meczu finałowym reprezentacja Niemiec pokonała Argentynę 1:0 po dogrywce.