Niewiele wiadomo o wyglądzie pierwotnego kościoła poza tym, iż został zbudowany na planie krzyża. Grecki historyk Euzebiusz z Cezarei podaje, że był to wysoki budynek otoczony z czterech stron portykami. Ściany jego miały być wykonane z marmuru, a dach pokryty złotem. Jednakże już w okresie rządów cesarza Justyniana budynek ten przestał być uważany za wystarczająco okazały i z tego powodu w tym samym miejscu wybudowano nowy kościół pod tym samym wezwaniem. Historyk Prokopiusz przypisuje patronowanie przebudowie Justynianowi, natomiast pisarz znany jako Pseudo-Codinus przypisuje to dzieło jego żonie – cesarzowej Teodorze. Nowa świątynia została konsekrowana 28 czerwca 550 roku.
Nowy kościół miał formę krzyża greckiego z pięcioma kopułami: jedną nad każdym z czterech ramion krzyża oraz główną w miejscu przecięcia się tych ramion. Zachodnie ramię rozszerzało się dalej na zachód tworząc atrium. Szczątki Konstantyna I Wielkiego oraz relikwie trzech świętych zostały ponownie umieszczone w kościele, natomiast dla Justyniana I Wielkiego i jego rodziny wybudowano nowe mauzoleum na końcu północnego ramienia.