W 2004 Cancellara w swoim pierwszym występie w Tour de France wygrał prolog i założył żółtą koszulkę lidera, którą nosił jeszcze przez jeden etap. Dwa lata później zwyciężył w prestiżowym klasyku Paryż-Roubaix, jako pierwszy Szwajcar od 83 lat. Z początkiem 2006 Cancellara zmienił barwy i dołączył do drużyny Bjarne Riisa – Team CSC, co zaowocowało wygranymi w czasówce na Tirreno-Adriático, wspomnianą wygraną w Paryż-Roubaix, jak również zwycięstwem w etapie na czas w wyścigu Dookoła Katalonii. W międzyczasie zdobył brązowy medal na mistrzostwach świata w Madrycie w 2005 roku. Rok później, podczas mistrzostw w Salzburgu zdobył złoto.
W 2007 Cancellara zdeklasował rywali na prologu Tour de France, w którym na trasie 7,9 km uzyskał 13 sekund przewagi nad drugim Andreasem Klödenem i 23 sekundy nad trzecim George'em Hincapiem. Przez następne dni jeździł w żółtej koszulce lidera wyścigu. Na trzecim etapie kolejnym zwycięstwem umocnił się na pozycji lidera. Dopiero na siódmym etapie stracił prowadzenie w klasyfikacji generalnej na rzecz Linusa Gerdemanna z Teamu T-Mobile. W 2008 roku wziął udział w igrzyskach olimpijskich w Pekinie, gdzie był najlepszy w jeździe na czas, a ze starty wspólnego zajął drugie miejsce za Hiszpanem Samuelem Sánchezem.