El comtat de Castres fou una jurisdicció feudal que era un senyoriu i fou creada com a comtat el 1359 per a Joan VI de Vendôme. Va passar per matrimoni als comtes de la Marca (Joan I comte de la Marca, comte de Ponthieu i comte de Chartres, mort el 1393, casat amb Caterina de Vendôme i Castres) i després a la casa d'Armanyac representada pel comte Bernat III de Pardiac (1418-1462) però el 1438 va prendre també el títol comtal Lluís, segon fill de Caterina, que va morir el 1446 i el va deixar al seu fill Joan II, que va morir el 1478 i que no el va usar. A Bernat de Pardiac el succeir el seu fill Jaume d'Armanyac i els seus successors fins al 1504. El 1504 (oficialitzat el 1505) va passar a la corona que en va disposar poc després fins que un altre cop vacant va ser integrat definitivament el 1519.
Senyors de Castres Guiu de Montfort 1211-1228 Felip de Montfort 1228-1240 Felip II de Montfort 1240-1270 (fill) Joan de Montfort 1270-1300 (fill) Elionor de Montfort 1300-1338 (germana) Joan V de Vendôme 1300–1315 (marit) Bucard VI de Vendôme 1338-1354 (fill) Joan VI de Vendôme 1354-1356 (fill)
Comtes de Castres El 1356, el rei Joan II el Bo erigeix Castres a comtat. Joan I (VI de Vendôme) 1359-1368 Bucard I (VII de Vendôme) 1368-1400 (fill) Caterina de Vendôme 1400-1412 (germana) Jaume (II de La Marca) 1412-1438 (fill) Elionor de La Marca 1438-1462 (filla) Bernat d'Armagnac 1438-1462 (espòs) Lluís de Vendôme 1438-1446 (fill de Caterina) Joan II (VIII de Borbó-Vendôme) (fill) 1446-1478 (no va fer ús del títol) Jaume d'Armanyac (fill de Bernat d'Armagnac) 1462-1477 (duc de Nemours, comte de Pardiac) Joan (fill) 1477-1478 (duc de Nemours, comte de Pardiac) Lluís d'Armagnac (germà) 1478-1503 (duc de Nemours, comte de Pardiac, d'Illa Jordà i de Guisa) Margarida (germana) 1503 Carlota (germana) 1503-1504 A la corona francesa 1505-1507 Disposició reial 1507-1519 A la corona 1519