następny w 1667, oraz wielki pożar Viborga w dn. 25-26 czerwca 1726 r., który strawił całe niemal miasto, a wybuchł w lokalnym browarze w okresie wielkiej suszy i łatwo się rozprzestrzenił dzięki silnie wiejącym wiatrom. Pastwą płomieni padło wtedy 78 domów, 71 gospodarstw, ratusz i wszystkie kościoły. 215 rodzin pozostało bez dachu nad głową. Odbudowa miasta zajęła ćwierć wieku. W 1618 r. w Viborgu spalono 2 kobiety osądzone w procesie czarownic. W 1627 r. miasto zostało splądrowane przez oddziały Wallensteina, a w 1644 r. było okupowane przez Szwedów. W 1769 r. przeprowadzono pierwszy duński spis powszechny, który wykazał 1 990 mieszkańców w Viborgu. W 1787 r. miasto miało 2572 mieszkańców.
W 1805 r., po utracie roli miasta sejmowego, Viborg traci spore wpływy związane z pobytem w mieście sejmikujących. W 1817 r. w Viborgu założono pierwszą bibliotekę publiczną na Jutlandii. Ponowny rozwój miasta nastąpił dopiero w II połowie XIX w. po wybudowaniu kolei (1863) i rozpoczęciu zagospodarowywania okolicznych wrzosowisk. W 1850 r. ludność miasta osiągnęła 4 039 mieszkańców. W 1864 r. podczas wojny o Szlezwik, miasto było okupowane przez Prusaków. W latach 1865–2001 w mieście stacjonował garnizon wojskowy. Od 1919 r. siedziba Zachodniego Sądu Okręgowego. W mieście znajduje się stacja kolejowa Viborg.