Architektura Srebrny Pawilon to dwupiętrowy budynek. Pierwsze piętro utrzymano w stylu shoin-zukuri. Było ono miejscem, w którym siogun praktykował medytację zen. Drugie piętro miało uświęcać boginię Kannon. Ściany wyłożono boazerią, a okna były wklęsłe z papierowymi przesuwanymi drzwiami. Można było tu również znaleźć pozłacany wizerunek bogini Kannon. Jako że przy budowie Srebrnego Pawilonu silnie inspirowano się Złotym Pawilonem, oba budynki łączyło wiele elementów – ogólne proporcje, linia okapów, gonty korowe na dachach, prostokątne otwory na piętrze, załamane okna (katomado) na najwyższych piętrach i werandy z balustradami.
Prywatną rezydencję sioguna stanowił jednopiętrowy budynek z cztero- i dwuspadowym dachem pokrytym korą cyprysu japońskiego. W budynku znajdował się pokój z ołtarzem, w którym pierwotnie znajdował się wizerunek Buddy Amidy, i trzy dodatkowe pokoje. Przed Tōgu-dō znajdował się ogród w stylu zen, zbudowany wokół stawu.