Historia Manufaktura znajdowała się na obrzeżach Madrytu niedaleko Bramy św. Barbary, od której wzięła nazwę. Początkowo była kierowana przez pochodzącego z Antwerpii rzemieślnika Jacoba Vandergotena i jego rodzinę. Zainstalowano w niej poziome warsztaty tkackie, na których powstawały gobeliny projektowane przez nadwornych malarzy. W pierwszych latach istnienia fabryki używano flamandzkich wzorów ze szkoły Davida Teniersa III i Philipsa Wouwermana. W tym okresie pracujący dla manufaktury malarze nie mogli pozwolić sobie na zbytnią oryginalność; popularną tematyką były lokalne święta i zabawy oraz uwielbiane przez monarchę łowy. W 1734 roku syn Jacoba Vandergotena zainaugurował nową, nowocześniejszą fabrykę, w której zastosowano pionowy warsztat tkacki pozwalający wyprodukować gobeliny o lepszej jakości.
Ranga manufaktury urosła w 1746 roku, za panowania Ferdynanda VI. Oba warsztaty tkackie zostały połączone i otoczone mecenatem króla. Nastąpiła zmiana stylu z flamandzkiego na włoski (Jacopo Amigoni, Corrado Giaquinto) i francuski (Louis-Michel van Loo, Michel-Ange Houasse). Współpracę z manufakturą rozpoczęli także Andrés de la Calleja i Antonio González Ruiz. Odświeżono również tematykę, zwiększając jej różnorodność.