Po rozbiorach Polski miejscowość znalazła się w zaborze austriackim i leżała w granicach Austrii, wchodząc w skład Królestwa Galicji i Lodomerii. W XVI w. na Wiśle w Harmężach przebiegał most, na którym pobierano cło drogowe i rzeczne. Był to most graniczny pomiędzy Królestwem Polskim a Śląskiem należącym do Czech. W historii Rzeczypospolitej Obojga Narodów most w Harmężach zapisał się jako przeprawa, po której uciekł do Francji król Henryk Walezy. Również w okresie zaborów na Wiśle w Harmężach przebiegała granica między Prusami a Austrią. Na koniec wieku XIX Harmęże liczyły ok. 360 mieszkańcówSłownik geograficzny Królestwa Polskiego i innych krajów słowiańskich. T. 3, s. 37, Warszawa: nakł. Filipa Sulimierskiego i Władysława Walewskiego, 1880-1914.
II wojna światowa
Po utworzeniu obozu KL Auschwitz okupanci niemieccy w dniach 7–12 kwietnia 1941 przeprowadzili akcję wysiedleńczą okolicznych wsi, która objęła również Harmęże. Akcja trwała przez cały tydzień poprzedzający Święta Wielkanocne i zakończyła się w Wielką Sobotę. W Harmężach wyburzono większość domów, pozostawiając tylko kilka z nich. We wsi założono farmę drobiu, królików i hodowlę ryb, które to prace wykonywali więźniowie.