Przy budynku wzdłuż Wzgórza Borowickiego wybudowano ogrody i szklarnie, co stało się dodatkową ozdobą Kremla.

Pałac Tieriemny był jednym z budynków dworu carskiego, który w XVII wieku stanowił złożony zespół niejednorodnych budynków. Granowita Pałata wychodziła na frontową stronę, w kierunku placu Soborowego; na południu znajdowała się Środkowa Złota Sala i Jadalnia. Na skraju wzgórza znajdowały się Komnaty Nadbrzeżbne, a od strony północnej – rezydencje sypialne członków rodziny carskiej. W pożarze w 1696 roku spłonęła cała drewniana zabudowa kompleksu, co doprowadziło do stopniowego upadku carskiego dworu kremlowskiego.

XVIII–XIX wiek thumb|Widok na Pałac Tieriemny, obraz z 1797 W pożarze 19 lipca 1701 roku, kiedy to według naocznego świadka „doszczętnie spłonął dziedziniec carski; drewniane rezydencje i wszystkie wnętrza z kamienia”, zniszczeniu uległ także Pałac Tieriemny. Według inwentarza z 1722 roku w jego komnatach nie było pieców, drzwi, podłóg ani okien, a wystrój i malowidła z białego kamienia miejscami uległy zniszczeniu.