miniatyr|400px|Varbergs fästning, här avbildad på ett vykort från början av 1900-talet, är en av stadens mest berömda byggnader. Den har byggts om och till under åtta århundraden. Varbergs stadsbyggnadshistoria sträcker sig tillbaka till medeltiden. De äldsta byggnaderna som finns kvar som mer än ruiner finns på Varbergs fästning. I själva staden är de äldsta byggnaderna från 1600-talet, då staden flyttats flera gånger samt helt eller delvis brunnit ner eller bränts av fientliga soldater åren 1256, 1565, 1612, 1666, 1767 och 1863.

Bebyggelsen bestod i äldre tider mestadels av trähus. Det äldsta bevarade exemplet är det Hayska husets äldre del, som finns bevarat från tiden före branden 1666. Efter den sista branden 1863 började man uppföra fler hus i sten och tegel, vilket gav högre brandsäkerhet. Med järnvägens ankomst växte Varberg kraftigt vid slutet av 1800-talet. Varberg blev en flitigt besökt kurort bland bättre bemedlade. Vid 1800-talets slut och 1900-talets början uppfördes kallbadhuset, Societetshuset och varmbadhuset bland andra byggnader som hör till stadens mest kända.

Under 1900-talet utvecklades och industrialiserades Varberg. Under seklets senare del revs delar av den äldre bebyggelsen. Det mest kända och kritiserade exemplet är rivningen av Gerlachska huset 1977. Under 1900-talet uppstod också nya bostadsområden utanför centrum, däribland Håsten, Sörsedammen och Brunnsberg.

Under 2000-talet har staden främst expanderat söderut genom bebyggelsen på Breared. De tre höghusen vid Söderhöjd, tolv, tretton och fjorton våningar höga, stod klara 2007.

Medeltiden miniatyr|Norra slottslängan, som var greve Jacobs ursprungliga borg. Fönstren är av senare datum. Lägg märke till den lilla takryttaren. Byggnaden var garnisonskyrka till 1830. Under historien har staden Varberg flyttats flera gånger, och därför finns inte många byggnader bevarade från tiden före 1800-talet. Dessutom har staden – i likhet med många andra svenska städer – eldhärjats vid flera tillfällen. Än idag är dock Varbergs fästning en av stadens mest berömda och framträdande byggnader. Dess äldsta delar är från slutet av 1200-talet, men de kraftiga vallar som omger den medeltida borgen är uppförda under 1500- och 1600-talen.

Greve Jacob Nielsen av Norra Halland anklagades för delaktighet i mordet på den danske kungen Erik Klipping den 22 november 1286. Han förklarades därför fredlös. Med stöd från den norska kungamakten kunde han behålla makten i Norra Halland, som omfattade Fjäre, Viske, Himle och Faurås härader. Den enda stadsbildningen i området var Getakärr, en av Varbergs tidigaste föregångare. Inte långt därifrån lät greve Jacob som skydd uppföra en mindre borg på ett vårdkasberg. Från detta berg, wardhberg, med betydelsen "vaktberg", har Varberg fått sitt nuvarande namn. Ursprungligen var det bara borgen som kallades Varberg eller Varbergshus.

Greve Jacobs borg, den norra slottslängan som är fästningens äldsta hus, saknade fönster och ingången satt uppe under taket för maximal säkerhet. Murarna var upp till två meter tjocka, vilket kan ses vid den nuvarande entrén till Länsmuseet Varberg, som huggits upp genom muren. Ända fram till 1830 var den i bruk som gudstjänstlokal för garnisonen på fästningen. Idag är den en del av Länsmuseet Varbergs utställningslokaler. Under senare tid har fönster huggits upp i murarna.

Borgen växte med fler längor och murar runt en borggård på bergets krön. Arkeologiska undersökningar har visat att ett eller flera torn funnits. I Varbergs kommunvapen, som har sitt ursprung i ett sigill från 1536, avbildas ett torn. Borgen blev senare en av kronans borgar, och bland kungligheter som periodvis huserat här kan nämnas Magnus Eriksson med drottning Blanka av Namur, Albrekt av Mecklenburg samt drottning Margareta.

Staden Ny Varberg grundades norr om Getakärr – som då börjat kallas Varberg efter slottet – vid 1400-talets början. Anledningen lär ha varit att kungamakten i Roskilde ville få till en förskjutning av makten i området, då Varberg (Getakärr) stod under stark kontroll av borgherren på slottet. Varberg kallades därefter för Gamla Varberg, och fick så småningom sina stadsrättigheter indragna. Staden förföll då. Från medeltiden finns ruinerna av Getakärrs kyrka kvar, se Getakärrs kyrkoruin.

Ny Varberg var som störst i mitten av 1500-talet och hade då sin blomstringstid. Detta har man kunnat bekräfta genom olika historiska källor, inte minst arkeologiskt material. Dessa fynd förvaras på Länsmuseet Varberg. I utkanten av staden fanns ett karmelitkloster. Utgrävningar har visat att det också fanns ett hospital och ett kapell. Idag återstår inte mycket av klostret. Läget för dess murar är markerat i marken med stenhällar. På platsen finns en modell av klostret och en informationsskylt från Riksantikvarieämbetet.

Under medeltiden fanns också strax norr om den nuvarande centralorten Ås kloster, som givit upphov till ortnamnet Åskloster. Detta kloster var ett av Hallands största. Det tillhörde Cisterciensorden och grundades redan vid 1100-talets slut, och är därmed mycket äldre än det i Ny Varberg.

1500- och 1600-talen miniatyr|Karl XI:s stall på fästningen uppfördes på 1610-talet, då Halland var danskt. Ursprungligen fanns Kristian IV:s namnchiffer över dörren, men det ersattes med Karl XI:s när fästningen föll i svenska händer. Längst upp i backen skymtar Mellersta valvet. Vid 1500-talets slut och 1600-talets början, under Kristian IV:s regeringstid, skedde den stora utbyggnaden av Varbergs slott till ett av Europas modernaste befästningsverk med bastioner och kasematter. Det var byggmästare Hans van Stenwinkel, en nederländare som kom till Danmark på 1570-talet, som ledde arbetet. Under en arbetsdag var omkring 1 000 bönder sysselsatta med fästningsbygget, som inleddes 1588 och pågick i 30 år, under vilka omkring två miljoner dagsverken beräknas ha utförts.

Av det berg greve Jacob byggde sin borg på syns inte mycket idag. Hela borgklippan kläddes in med jord, runt vilket fem bastioner byggdes, en i varje hörn samt ytterligare en mitt på muren mot havet. Bastionerna har olika namn. Medurs är dessa Vita munken i nordost, Grå munken i sydost, Röda munken i sydväst, Dammbationen i väster och Smedjebastionen i nordväst. Särskilt starka gjordes befästningarna i syd och sydöst, eftersom fienden kunde ställa upp kanoner på Rantzauklippan, vilket också skedde 1565 under nordiska sjuårskriget.

I bastionerna fanns kasematter – kanonrum – från vilka man kunde skjuta utmed fästningens murar och därmed tillintetgöra en fiende som försökte storma fästningen. Kasematterna byggdes i tegel. De är försedda med ett sinnrikt system av runda öppningar i murarna, nära taket, avsedda att leda bort dels den giftiga krutröken, dels den tryckvåg som bildades då kanonerna avfyrades.

Fästningsbygget avslutades 1618. Därefter har Varbergs fästning aldrig varit indragen i någon militär konflikt, och fästningen har aldrig blivit intagen eller erövrad efter utbyggnaden. Genom freden i Brömsebro övergick fästningen i svensk ägo.

Utöver själva befästningsverken uppfördes även diverse andra byggnader på fästningsområdet, norr om den gamla borgen som förblev fästningens kärna. Mest framträdande är kanske det Mellersta valvet, uppfört 1612, mot vilket en backe leder. Nedanför backen ligger den byggnad som kallas Karl XI:s stall. Det uppfördes på 1610-talet och fungerade ursprungligen som stall, därav namnet, men blev sedan tyghus.

Bland byggnaderna på fästningen bör också nämnas Kockenburg i bastionen Grå munken, en tunnel som leder i en spiral runt ett djupt schakt, kallat "lyktan". Genom öppningar i muren lyses Kockenburg upp av det ljus som kommer ner i lyktan. Tunneln fungerade som transportgång för kanoner, som drogs av hästar varför gången som lutar brant neråt saknar trappsteg. Rundetårn i Köpenhamn är utformat på samma sätt.

Fästningen fungerade också i flera hundra år som fängelse. Redan i de medeltida byggnaderna finns fängelsehålor. Fästningen miste snart sin roll som viktig försvarsposition, men fortsatte, i likhet med andra fästningar, att fungera som fängelse. Kasematterna, som inte längre fyllde sin funktion som kanonrum, byggdes om till stora gemensamma fängelsehålor där många interner förvarades. Det var dock först 1848 som fästningen officiellt sett blev fängelse.

Natten till den 20 februari 1612 brändes Ny Varberg av svenska trupper under Kalmarkriget. Staden återuppbyggdes aldrig, utan flyttades till det som idag heter Platsarna, alldeles vid fästningen. Man vet ganska mycket om denna stad, till exempel finns kartor som visar hur gatunätet såg ut. Bebyggelsen låg samlad i stora kvarter med raka gator mellan, i stil med tidens ideal för stadsplanering. Staden låg i viss mån skyddad bakom fästningen, men den var aldrig befäst och gatorna var riktade på ett sådant sätt att man från fästningen kunde skjuta in mellan husen ifall staden skulle falla i fiendens händer.

Varberg härjades av en häftig brand den 12 augusti 1666, då hela staden lades i aska. Stadens invånare ville bygga upp den igen på samma plats, men överheten beslöt att flytta staden till det nuvarande läget, eftersom det gav "bättre rum framföre Castellet och rätta distansen därifrån, så är på ingen wijdare förändring att tänka", som generalguvernören uttryckte det.

Efter branden återuppfördes Varberg på sin nuvarande plats. Ett rutnät med raka gator och kvadratiska kvarter anlades. Det är samma gatunät som finns kvar idag. Staden byggdes inom de fyra vallgatorna, en i varje väderstreck. Det centralt placerade torget utgjorde stadens mittpunkt. Här låg Caroli kyrka som färdigställdes 1687.

Varberg var vid denna tid en mycket liten stad. Bebyggelsen bestod av trähus och även Caroli kyrka var i korsvirke. Nästan ingen bebyggelse finns bevarad från 1600-talet, då Varberg eldhärjats flera gånger under 1700- och 1800-talen. Ett undantag är den äldre delen av Hayska huset, som klarade sig undan branden 1666 och flyttades till stadens nuvarande läge, där det också klarade bränderna 1767 och 1863.

Byggnader från 1600-talet

1700-talet miniatyr|Varberg vid 1600-talets slut eller 1700-talets början. Bortsett från fästningen höjer sig bara Caroli kyrka över den övriga bebyggelsen. Ur Suecia antiqua et hodierna. De mest välbevarade byggnaderna från 1700-talet finns på fästningen. En länga, uppförd vid mitten av seklet, var ursprungligen en verkstad men blev sedan befälsbyggnad. En artillerikasern från 1742 är något äldre. Båda dessa byggnader är idag bostäder.

Varberg brann igen den 18 maj 1767. Hela den del av staden som låg norr om torget, däribland Caroli kyrka, blev lågornas rov, medan den sydliga hälften klarade sig undan elden. Därför finns bara enstaka hus från 1700-talet i Varberg, och den äldre bebyggelsen i staden är oftast från 1800-talet.

Eftersom Caroli kyrka förstördes vid branden stod Varberg utan gudstjänstlokal. Den nuvarande kyrkan, byggd i sten för bättre brandsäkerhet, stod klar på 1770-talet. Byggmästare var Friedrich August Rex. Utöver kyrkan finns flera andra byggnader från 1700-talets andra hälft bevarade, däribland det Lundquistska huset, mittemot kyrkan, i sten med putsad med samma byggmästare som kyrkan, den Rylanderska gården, i två våningar med stående träpanel, som inrymmer Lyrestedts färghandel, och "Färgarens" på Kyrkogatan, idag kraftigt ombyggt.

På Södergatan finns det så kallade Stenmagasinet, en ganska enkel byggnad i sten med röd putsad fasad, uppförd på 1700-talet.

Byggnader från 1700-talet

1800-talet miniatyr|Varbergs teater, uppförd på 1890-talet. Framför teatern fanns långt in på 1900-talet ett av stadens många stenbrott. Platsen bebyggdes i början av 1960-talet. Under 1800-talet skedde de sista egentliga utbyggnaderna av fästningen. Fortfarande fungerade den som fängelse. Nedanför Mellersta valvet uppfördes ett kronohäkte, som stod klart 1852. Det har pustade fasader i vitt och ljust gult. Till skillnad från i de gamla fångvalven hade varje fånge en egen cell.