W 1994 po raz pierwszy został wybrany w skład Parlamentu Europejskiego. W kolejnych wyborach (1999, 2004, 2009 i 2014) z powodzeniem ubiegał się o reelekcję. Zajmował stanowisko koordynatora podkomisji do spraw obrony praw człowieka (DROI) w grupie PES w latach 1994–1996. Następnie pełnił podobną funkcję w Komisji ds. Wolności Obywatelskich, Sprawiedliwości i Spraw Wewnętrznych (LIBE) w latach 1996–2000. W latach 2000–2004 był przewodniczącym grupy parlamentarnej socjaldemokratów niemieckich. Od 2002 był pierwszym wiceprzewodniczącym parlamentarnej grupy socjalistów, by w 2004 zostać jej przewodniczącym w okresie VI kadencji.

2 lipca 2003, dzień po objęciu prezydencji w UE przez Włochy, Martin Schulz publicznie skrytykował włoskiego premiera Silvia Berlusconiego. Ten z kolei stwierdził, że niemiecki europoseł mógłby zagrać rolę kapo, później tłumacząc to nawiązaniem do komediowego serialu wojennego Hogan’s Heroes i postaci mało rozgarniętego sierżanta.

Po wyborach z 2009 został przewodniczącym frakcji Postępowego Sojuszu Socjalistów i Demokratów.