Mimo podobieństw morfologicznych rośliny te nie były z sobą spokrewnione i współcześnie rozrzucone są wśród różnych rodzin systemu klasyfikacyjnego okrytonasiennych (Phyllonomaceae, twardziczkowate Escalloniaceae, Montiniaceae, Tetracarpaeaceae, iteowate Iteaceae, dławiszowate Celastraceae). Bliskie (siostrzane) pokrewieństwo agrestowatych ze skalnicowatymi jest dobrze potwierdzone analizami molekularnymi, morfologicznymi, chemicznymi i serologicznymi.
Rodzaj dzielony jest zwykle na 6 podrodzajów lub sekcji, wśród nich Grossularia, który to takson bywał w przeszłości w niektórych ujęciach podnoszony do rangi osobnego rodzaju o zwyczajowej nazwie agrest.
Powiązania filogenetyczne rodziny agrestowatych w obrębie rzędu skalnicowców według Angiosperm Phylogeny Website (aktualizowany system APG IV z 2016):
+ cynomoriowate Cynomoriaceae – rodzina o nieznanej pozycji w kladogramie. Wykaz gatunków