Sam Piotr nie używał ani przydomka Dunin, ani herbu Łabędź.thumb|Herb Łabędź w zamku w Baranowie SandomierskimFranciszek Piekosiński uważał natomiast, że dziad Piotra Włostowica mógł przybyć do Śląska z Danii, co mogłoby tłumaczyć legendę Długosza, jednakże na to również nie ma dowodów.
Dopiero w XIV wieku potomkowie Piotra Włostowica zaczęli się nazywać Duninami, co powstało prawdopodobnie z przekręcenia łacińskiej wersji imienia Dominik: Domin-Donin-Dunin. Trafiło to na podatny grunt wobec rodzącej się równocześnie legendy o duńskim pochodzeniu. W tym samym mniej więcej czasie wspólnym znakiem herbowym rodu stał się biały łabędź w czerwonym polu.
W 1172 członkowie rodu prawdopodobnie brali udział w wypędzeniu księcia Bolesława Wysokiego, za co po ponownym jego osadzeniu na tronie przez cesarza Fryderyka Barbarossę, zostali wygnani ze Śląska. Przenieśli się do Małopolski, gdzie w XII-XIV w.