Był członkiem Obywatelskiego Sojuszu Demokratycznego (od 1996). W 2004 został wybrany do Senatu (z rekomendacji Unii Wolności). Od 9 stycznia 2007 do 8 maja 2009 był ministrem spraw zagranicznych z nominacji Partii Zielonych w drugim rządzie Mirka Topolánka. W 2009 założył nowe centroprawicowe ugrupowanie pod nazwą TOP 09. Kierował nim do 2015 (zastąpił go Miroslav Kalousek), po czym otrzymał godność honorowego przewodniczącego.
W wyborach parlamentarnych w 2010 uzyskał po raz pierwszy mandat deputowanego do Izby Poselskiej. Po wyborach partia TOP 09 zawiązała koalicję rządową z Obywatelską Partią Demokratyczną (ODS) oraz Sprawami Publicznymi (VV), a Karel Schwarzenberg 13 lipca 2010 objął stanowisko wicepremiera oraz ministra spraw zagranicznych w rządzie premiera Petra Nečasa. Jako minister spraw zagranicznych uczestniczył w konferencjach Grupy Bilderberg i Komisji Trójstronnej. Wspólnie z polskim ministrem Radosławem Sikorskim zainicjował utworzenie Forum Dialogu Polsko-Czeskiego.