Kompleks o nazwie „Vecgulbenes Muiža” należy do Elmārsa Pitury (Polak z pochodzenia).
Przy ulicy Brīvības oddzielającej zespoły pałacowe od terenu, na którym znajduje się kościół luterański, w roku 1929 postawiono pomnik dla uczczenia pamięci mieszkańców Gulbene i okolic, którzy zginęli w walce o niepodległość Łotwy. W czasie II wojny światowej pomnik został zniszczony przez Armię Czerwoną. Pomnik odrestaurowano w 1992 r.
Podczas okupacji hitlerowskiej, w lipcu 1941 roku Niemcy utworzyli tymczasowe getto dla żydowskich mieszkańców. Przebywało w nim około 120 osób. 2 sierpnia 1941 roku Niemcy ostatecznie zlikwidowali getto, a Żydów zamordowano we wsi Litene. Sprawcami zbrodni byli Łotysze z Rygi z tzw. komando Arajsa oraz miejscowej „samoobrony”.
Kościoły Kolejność niżej wymienionych kościołów jest adekwatna do liczby wiernych danego wyznania.
Na miejscu zburzonego w XVI w. zamku w latach 1838–1843 wybudowany został kościół luterański w stylu klasycystycznym. W czasie II wojny światowej została zniszczona dzwonnica i obrazy ołtarzowe. Współcześnie w kościele znajduje się jeden ołtarz wykonany z drewna dębowego w stylu neogotyckim z drugiej połowy XIX w., z tego okresu pochodzi też ambona. Przed kościołem znajduje się pomnik Marcina Lutra. Nabożeństwa w niedziele o godz. 13.00 i 15.00.