Od 1795 aż do końca I wojny światowej – z krótką przerwą w latach 1807–1815 – miasto znajdowało się w granicach Prus. Kongres wiedeński w 1815 wytyczył granicę prusko-rosyjską na rzece Prośnie, na ponad 100 lat sytuując położony na zachodnim brzegu rzeki Grabów w roli pruskiego miasta granicznego. Wiek XIX, szczególnie od 1871, to okres presji germanizacyjnej i oporu przeciwko niej przez dominującą w mieście ludność polską. Mieszkańcy czynnie uczestniczyli w powstaniach, działało Towarzystwo Czytelni Ludowych. W 1905 miasto liczyło 1806 mieszkańców, w tym niemal 84% Polaków, 11% Niemców i 6% Żydów. 82% ludności Grabowa stanowili katolicy, protestanci zaś niecałe 12%.
Miasto korzystało z szybkiego rozwoju cywilizacyjnego Niemiec w II poł. XIX w., jednak jego przygraniczne położenie nie przekładało się na wzrost znaczenia. W 1910 Grabów uzyskał połączenie kolejowe ze stolicą powiatu – Ostrzeszowem. W 1919 miasto znalazło się w granicach odrodzonego państwa polskiego, zaś Prosna straciła swoją graniczną funkcję. Dzięki temu w okresie międzywojennym zaznaczyło się przyspieszenie rozwoju Grabowa, który stał się ośrodkiem handlowym i usługowym także dla obszarów położonych w dawnym zaborze rosyjskim. W latach 1975–1998 miasto administracyjnie należało do woj.