Conisbrough nie było jedyną posiadłością rodu de Warenne; należały do nich również zamki (ich główna siedziba) oraz .
Inicjatorem budowy zamku kamiennego, obecnie istniejącego, był mąż Isabel, , brat przyrodni króla Henryka II. Donżon, najstarsza część zamku, został wzniesiony najprawdopodobniej w latach 1170–1190. Mur kurtynowy wraz z przylegającymi do niego zabudowaniami, mieszczącymi m.in. , datowany jest na koniec wieku XII lub początek XIII; za jego budowę mógł odpowiadać Hamelin (zm. 1202) bądź jego syn William.
Zamek pozostawał jedną z głównych rezydencji kolejnych hrabiów Surrey z rodu de Warenne do 1317 roku. Wówczas to został zbrojnie zdobyty i zagarnięty przez , potężnego możnowładcę w zatargu z królem Edwardem II. Thomas został pokonany przez wojska królewskie w i stracony w 1322 roku; w 1326 roku zamek przywrócono w posiadanie . John zmarł w 1347 roku bez potomstwa, po czym zamek przeszedł na własność korony.
Król Edward III nadał zamek jednemu ze swoich synów, Edmundowi Langleyowi, późniejszemu księciu Yorku, od którego wywodzi się dynastia Yorków. Nie była to jedyna posiadłość Edmunda;