Wczesna historia i wnętrze willi Villa Cagliares stoi na obrzeżach miejscowości Żejtun, w obszarze nazywanym przez mieszkańców „ir-raħal t’isfel” (dolna wioska). Chociaż dokładna data budowy willi nie jest znana, historycy przypuszczają, że została zbudowana na początku XVII wieku, kiedy Cagliares było już biskupem. Opiera się to na dacie znajdującej się na drzwiach, z której wynika, że ​​budowę rozpoczęto około 1620. Okolice Żejtun nadal były przedmiotem sporadycznych najazdów i ataków. Bliskość wybrzeża mogła mieć wpływ na surowy wygląd willi. Parter posiadał niewiele okien i otworów, a te, które się tam znajdowały, pełniły funkcję szczelin muszkietowych. W górnej części fasady znajduje się wykuty w kamieniu herb rodziny Testaferrata. Podobny herb wyryto na fontannie w głównym ogrodzie willi. Z biegiem czasu willa zmieniała właściciela i przeszła w ręce rodziny Testaferrata, która nadzorowała rozbudowę obiektu.