Pierwsza pisemna wzmianka o Tvrdošínie pochodzi z 1265. Wspominany był w dokumencie króla Beli IV jako posterunek celny na szlaku handlowym z Polski na Węgry, którym wożono m. in. sól, ołów i płótno. Później Twardoszyn należał do dominium Zamku Orawskiego. Przywilejem z 15 lipca 1369 król Ludwik I Andegaweński nadał mu prawa miejskie. Miasteczko stało się lokalnym ośrodkiem rzemiosła.
Pomimo licznych potwierdzeń praw miejskich, uzyskanych za czasów Jana Zápolyi, Twardoszyn był jednak dalej jedynie prowincjonalnym miasteczkiem. Wstrząsy polityczne XVI wieku spowodowały upadek komory celnej. W 1640 r. Twardoszyn otrzymał prawo organizowania trzech dorocznych jarmarków, co znacząco podniosło jego rolę jako ośrodka handlu. W XVII wieku doszło jednak do upadku miasta na skutek kolejnych powstań antyhabsburskich (tzw. powstań kuruców). Szczególnie dotkliwe straty poniósł Twardoszyn także w czasie pobytu na Orawie jesienią 1683 r. litewskiego korpusu armii Sobieskiego, idącego pod Wiedeń.
W XVIII wieku miasto się odrodziło, w 1777 stało się nawet siedzibą władz powiatu. Rozwinęła się uprawa lnu i płóciennictwo, a także garncarstwo i garbarstwo. W XIX w. powstała farbiarnia płótna, manufaktura produkująca guziki i tartak.