Została mu także przydzielona pozycja prawego zastępcy szefa ministerstwa stanu. W roku 563 Li Gongtong został skazany na śmierć za wspieranie rebelii Gao Guiyana. Jego matka fałszywie zawyżyła swój wiek, by uniknąć kary. Była ona młodszą siostrą żony Wei Shou i ten pomógł jej w ukryciu prawdziwego wieku, o co jednak został oskarżony przez księcia Pengcheng, Gao You. Za karę Wei Shou został usunięty z oficjalnego rejestru urzędników. Jednak już rok później mianowano go namiestnikiem Qingdu (na południowy zachód od dzisiejszego Linzhang w Hebei), zaś w roku 565 został lewym wielkim mistrzem doskonałej szczęśliwości. W latach 566–567 był pełniącym obowiązki regionalnego inspektora Qizhou (dzis. Jinan). W roku 567 powrócił na dwór cesarski z tytułem komandora. Jednocześnie działał jako nadzorca sekretariatu aż do roku 569, kiedy został ponownie mianowany prawym zastępcą szefa ministerstwa stanu. W roku 572 brał udział w sporządzaniu kompilacji Xiuwen yulan (修文御覽). W tym samym roku zmarł w wieku sześćdziesięciu sześciu lat.