Po problemach z zakwalifikowaniem się na międzynarodową imprezę w barwach Holandii Veldkamp uzyskał belgijski paszport i od 1996 roku reprezentował Belgię. Pierwszy medal dla nowej ojczyzny zdobył w 1996 roku, zajmując drugie miejsce w biegu na 10 000 m podczas mistrzostw świata na dystansach w Hamar. Na rozgrywanych dwa lata później mistrzostwach świata w Calgary był trzeci na dystansie 5000 m, za Giannim Romme i Rintje Ritsmą. W 1998 roku brał też udział w igrzyskach w Nagano, zdobywając brązowy medal w biegu na 5000 m. Podobnie jak na MŚ w Calgary lepsi byli tylko Romme i Ritsma. Na tych samych igrzyskach był też między innymi czwarty na dystansie 10 000 m, w walce o medal lepszy był Rintje Ritsma. W 1999 roku zdobył srebrny medal w biegu na 5000 m podczas mistrzostw świata na dystansach w Heerenveen. Ostatnie medale wywalczył w 2001 roku, zajmując trzecie miejsce na wielobojowych mistrzostwach świata w Budapeszcie i drugie na mistrzostwach Europy w Baselga di Pinè. Startował także na igrzyskach w Salt Lake City w 2002 roku i rozgrywanych cztery lata później igrzyskach w Turynie, ale nie stawał na podium.