Tak zła reputacja Księgi Wei wiązała się z kwestią prawowitej sukcesji. Wei Shou pisał swoje dzieło z nadania Północnej Dynastii Qi, która była spadkobiercą Wschodniej Dynastii Wei, i tym samym przyjmował, że to ta ostatnia dynastia miała prawo do cesarskiej władzy nad Chinami. Jednakże w roku 589 Chiny ostatecznie zostały zjednoczone przez dynastię Sui (581–618), będącą spadkobiercą Północnej Dynastii Zhou (557–581) i konkurencyjnej w stosunku do Wschodniej Dynastii Wei Zachodniej Dynastii Wei (535–557). W rezultacie Księga Wei, ze względu na przyjęty schemat prawowitej sukcesji, znalazła się pod obstrzałem krytyki z dwóch stron. Po pierwsze uczonych związanych z tradycją dynastii Sui, którzy uważali że to Zachodnia, a nie Wschodnia Dynastia Wei była prawowitą dynastią cesarską. Po drugie zaś uczonych z Południa, którzy nie mogli wybaczyć Wei Shou jego całkowitego lekceważenia w stosunku do dynastii południowych. Wei Shou bowiem nie wahał się nazywać Wschodniej Dynastii Jin „uzurpatorskim reżimem” (jian), a rody panujące Song, Qi i Liang „wyspiarskimi barbarzyńcami” (daoyi), albo „południowymi barbarzyńcami” (manyi).