Szybko jednak popadł w niełaskę obrażając ważne osoby z otoczenia królowej i musiał wrócić do Łatgalii. Wygnany stamtąd w trakcie wojny z Rosją w roku 1656 przyjechał jeszcze raz z żoną i dziećmi do Sztokholmu, gdzie żył w biedzie do roku 1658, gdy król Karol X Gustaw mianował go sędzią w należącym wtedy do Szwecji regionie Trondheim. Jednak, gdy region ten przestał należeć do Szwecji w roku 1660, znów pozostał bez zajęcia. W roku 1661 został powołany na członka rady królewskiej, a następnie członka Reduktionskollegium zajmującego się sprawami skarbowymi. Przyjęcia tej ostatniej funkcji odmówił. Po utworzeniu urzędu Antikvitetskollegium został obrany w roku 1667 jego pierwszym przewodniczącym, dzięki czemu na starość nie cierpiał na brak pieniędzy, który doskwierał mu przez całe życie. Stiernhielm zmarł 22 kwietnia 1672 roku. W roku 1791 Akademia Szwedzka wybiła monetę na jego pamiątkę. Na jego płycie nagrobnej znajduje się napis Vixit, dum vixit, laetus, który po polsku oznacza „Żył szczęśliwie, póki żył”.