W mieście tym rozgrywa się akcja kilku jego powieści, w tym (Kronika w kamieniu).
Urodził się tutaj również Enver Hoxha, przywódca komunistycznej Albanii w latach 1944–85.
Historia Skała zamkowa, która dominuje nad całą doliną, została zasiedlona prawdopodobnie w III wieku p.n.e. Miejsce to zostało po raz pierwszy ufortyfikowane murami w VI wieku, kiedy inne miejsca w dolinie Drino, takie jak Antigoneia, powoli traciły na znaczeniu.
Pierwsza pisemna wzmianka o Argyrokastro pochodzi z 1336 roku i była to wtedy część Cesarstwa Bizantyjskiego. W międzyczasie wokół zamku powoli formowała się osada. W 1417 Gjirokastra została zdobyta przez armię Turków Osmańskich i pod ich władzą pozostawało nominalnie do XX wieku. Dominującą rodziną w regionie pozostała jednak rodzina Zenevisi, którzy wkrótce po podboju tureckim przeszła na islam. Mimo okupacji tureckiej pod koniec XVI wieku chrześcijanie nadal stanowili większość w mieście. W 1583 r. naliczono prawie 80 gospodarstw muzułmańskich i jeszcze ponad 230 chrześcijańskich. W XVII wieku stosunki te uległy odwróceniu. W 1419 roku Turcy ogłosili Gjirokastrę stolicą sandżaku Albanii. W 1466 roku miasto utraciło tę funkcję na rzecz Beratu. W 1432 r.