Ciągła nieobecność Tostiga w Northumbrii i surowość rządów doprowadziły do wybuchu rebelii w tej prowincji w 1065. Tostig oskarżał o jej podżeganie swego brata Harolda, ten jednak zawarł porozumienie z przeciwnikami Tostiga i doprowadził do pozbawienia go urzędu i wygnania z kraju.
Tostig udał się na dwór szwagra we Flandrii, gdzie spędził zimę 1065/1066. W 1066, gdy Harold został królem Anglii, Tostig udał się do księcia Normandii Wilhelma (później nazwanego Zdobywcą), który był kuzynem żony Tostiga i który podniósł swoje roszczenia do tronu Anglii przeciwko Haroldowi. Następnie ruszył z wyprawą łupieżczą wzdłuż wybrzeży Anglii. Pokonany, trafił na dwór Malkolma III w Szkocji. Zaoferował wówczas swoją pomoc królowi Norwegii Haralda Hardradzie, który wyruszył przeciwko Haroldowi (sporne jest, czy spotkał się z nim wcześniej w tym samym roku w Norwegii i czy zainspirował go do tego ataku). Tostig przyłączył się do niego w Szkocji i wziął udział w ataku na Anglię. Uczestniczył w zwycięskiej bitwie pod Fulford 20 września 1066 i zajęciu Yorku 24 września 1066.