Największym dylematem architektów w okresie planowania synagogi była elewacja. Przy jej projektowaniu należało uwzględnić dwa czynniki: czy forma fasady powinna asymilować się z formami znanymi wśród społeczeństwa dominującego, czy pozostać w zgodzie z nakazami religijnymi oraz jak poradzić sobie z problemem stosowności, wynikającym z położenia kościoła dominikańskiego, bezpośrednio po drugiej stronie ulicy Szewskiej. W efekcie finalnym zdecydowano się na nadanie budynkowi charakteru średniowiecznej architektury świeckiej. Poprzez np. gzyms w formie krenelaża, subtelne boniowanie, wąskie okna parterowe, wieżyczki, czy oddanie podziałów wewnętrznych na licu fasady osiągnięto efekt „architektury mówiącej”. Elewacja odróżniała się nieco od form kojarzonych z kamienicami czy fabrykami; przywoływała, natomiast, na myśl średniowieczne budowle o funkcjach obronnych, symbolizując w ten sposób „twierdzę wiary”, jaką stał się budynek przechowujący najważniejsze zwyczaje i prawdy judaizmu, kryjący w swoim wnętrzu tradycyjny wystrój.