W XIV wieku władcy z Hirschhorn rozpoczęli rozbudowę swojego zamku. Mogli sobie na to pozwolić, ponieważ posiadali obszerne tereny i poprzez wpływowe stanowiska na dworze palatyna napływały do nich dobre pieniądze. W 1350 roku poświęcono kaplicę zamkową, w której obecnie można zawierać cywilne związki małżeńskie. Z pierwotnego okresu zachowała się północna ściana, na której znajdują się pozostałości fresku przedstawiającego sceny z męki Chrystusa, zgodnie z tym, jak przedstawia je Nowy Testament. Hirschhorn był, podobnie jak większość zamków tamtej epoki, własnym „małym światem”, który ciągle się rozwijał. Oprócz rycerzy i ich rodzin, na zamku mieszkali także strażnicy bram i wież, myśliwi, służący w stajniach, pasterze, służący, zarządcy zamku oraz duchowny. Oprócz budynków mieszkalnych była tu stajnia dworska, stajnie i stodoła (częściowo zachowane do dziś), a także dom piwny, dom pralni, piekarnia, kuźnia, budynek do przechowywania dziczyzny i buda dla psów (już nieistniejąca).