Tak długi okres zmiennej przynależności państwowej i kulturowej, częste odstępowanie Żmudzinów przez Litwę i ciągłe walki przeciw najeźdźcom ukształtowały poczucie niezależności od ludów sąsiednich, w tym Litwinów.
Ze względu na surowość krzyżackich rządów, różnice kulturowe i przede wszystkim próby narzucenia obcej religii Żmudzini stale sprzeciwiali się władzy zakonu, najpierw walcząc z nią w sojuszu z plemionami bałtyckimi, zwłaszcza z Litwinami, potem zaś, gdy popadli w zależność od Krzyżaków – wzniecając powstania.
Związki z Polakami Żmudzini w wiekach XIV i XV postrzegani byli jako odrębna grupa etniczna – w ten sposób pisał o nich Długosz, podkreślając zarazem bliskie związki Żmudzinów z Litwinami i Jaćwingami. Tak też przedstawiała Żmudzinów dyplomacja polska i litewska, rozprzestrzeniając dramatyczną skargę Żmudzinów na zakon krzyżacki w 1404 roku. Żmudzinów od Litwinów różniły w tym czasie głównie stosunek do chrześcijaństwa, które Litwini przyjęli szybciej i chętniej, oraz znaczna rusycyzacja elit litewskich, wyobcowująca Żmudzinów zajmujących ziemie odległe od wpływów ruskich.