Miasto zostało założone przez osadników podczas eksploracji USA w XIX wieku. Teren został wybrany ze względu na malowniczy krajobraz. Większość mieszkańców była fanatycznie pobożna. Często palono kobiety, które uważano za czarownice. Miało to charakter „oczyszczenia” ze zła. W części społeczeństwa krążyła opinia, że żyją dzięki „czystości” ich dusz. Druga część gry mówi, że kiedyś funkcjonował tam prowizoryczny sąd, który nie stronił od publicznych egzekucji.
W Silent Hill pojawiają się potwory będące ożywionymi wspomnieniami i obawami (pierwsza i trzecia część) lub istotami odwzorowującymi grzechy ludzi (druga część). Potwory te tworzone są przez moc Alessy Gillespie. W grze dzieli się je na pospolite i bossów. Te pierwsze są dość liczne, jednak łatwo je pokonać. Należą do nich m.in. groanery (dość duże oskalpowane psy nieznanej rasy), lying creature (pełzające kreatury) plujący kwasem czy „pielęgniarki”. Bossowie natomiast są wyjątkowo silni. Najpopularniejsi z nich to między innymi Piramidogłowy (Pyramid Head) czy The God. Pojawiają się w alternatywnej rzeczywistości, koszmarnym wymiarze miasta. Oba rodzaje przeciwników są ściśle związane z fabułą. Historia Silent Hill ma związek głównie z Alessą Gillespie i jej matką Dahlią. Alessa była w dzieciństwie wyszydzana i uważana za wiedźmę.