W czasie panującej w 1373 roku epidemii zmarło troje ich dzieci, a w 1382, również w wyniku zarazy, kolejnych pięcioro. Fakty te miały wpływ na dalsze zachowanie męża. Pierworodnym dzieckiem Swertvegerów była urodzona w październiku 1366 roku córka Agata (imię nadano na cześć matki Doroty). W wieku 15 lat (1381) Agatę wydano za mąż; zmarła młodo, doczekawszy się córki, która wybrała życie zakonne. Epidemię dżumy z 1382 roku i rodziców przeżyła tylko córka Gertruda, którą matka oddała do klasztoru benedyktynek w Chełmnie. Właściwiej byłoby jednak napisać, że Gertruda trafiła do klasztoru cysterek, albowiem w 1429 roku, jak podaje Jerzy Domasłowski, wydano ostatni dokument określający zakonnice z Chełmna jako cysterki.
Po stracie dzieci Dorota odbyła z mężem kilka pielgrzymek do różnych sanktuariów w Europie, a po śmierci męża udała się po raz pierwszy i na krótko do Marienwerder (dzisiejszy Kwidzyn) 22 maja 1391 roku, następnie zaś − po otwartym konflikcie z gdańskimi władzami kościelnymi − na stałe, w dniu 30 września 1391. Początkowo umieszczono ją w przytułku, potem została przygarnięta przez mieszczankę kwidzyńską, Matheę Quodemosse, by ostatecznie wynająć komórkę u Katarzyny Mulner. W Kwidzynie spowiednikiem Doroty został dawny dziekan wydziału teologii na uniwersytecie w Pradze Jan z Kwidzyna.