Jednakże szczegóły wyodrębnienia się walowatych okryła ciągle tajemnica. Dzielą one liczne przystosowania z walenikiem, niegdyś zaliczanym do tej rodziny, obecnie jednak uważa się je często za wynik paralelizmu. O ile dane morfologiczne wskazują na bliskie pokrewieństwo obu rodzin, badania molekularne stoją z nimi w sprzeczności, sytuując walenika bliżej pletwalowatych. Walowate wydają się jednak monofiletyczne.
Sprzed 23 milionów lat pochodzą też najstarsze szczątki kopalne walowatych (wczesny miocen). Skamieniałości znane są z Atlantyku, Pacyfiku i Oceanu Południowego, jednak najprymitywniejszym znanym członkiem walowatych jest argentyński Morenocetus parvus długości ponad 5 m. Dalej w zapisie kopalnym występuje luka obejmująca środkowy i późny miocen, podczas gdy skamieniałości z pliocenu są liczniejsze. Pochodzą z Europy, Japonii i Ameryki Północnej. Wymienia się wśród nich Balaenula astensis i B. balaenopsis, Balaenella brachyrhynchus czy zaliczane do obecnie istniejących rodzajów Balaena ricei oraz Eubalaena belgica. W pliocenie rozmiary walowatych zmniejszyły się.