Architektura Świątynię wzorowano na rzymskiej bazylice Santa Maria Maggiore, bazylice św. Pawła za Murami, a wnętrze na kościele Notre-Dame-de-Lorette w Paryżu. Zbudowany został na planie krzyża łacińskiego; trójnawowy, z płaskim stropem kasetonowym opartym na żeliwnych kolumnach korynckich i prezbiterium zamkniętym absydą. Wezwanie jest przypuszczalnie związane z ożywieniem kultu św. Karola Boromeusza w czasach rządów arcybiskupa paryskiego hrabiego de Quélena, który w okresie restauracji Burbonów popularyzował architekturę wczesnochrześcijańską oraz idee monarchistyczne (a w ślad za nim członek komitetu budowy kościoła biskup Tadeusz Łubieński).
Fasada flankowana dwiema wieżami, poprzedzona trójarkadowym przedsionkiem. Na fasadzie umieszczono figury apostołów Piotra i Pawła. Wieńczy ją fronton z tympanonem, przedstawiającym patrona kościoła – Karola Boromeusza, udzielającego sakramentu Komunii mieszkańcom Mediolanu podczas epidemii dżumy w 1567 roku. Schody przed głównym wejściem (od strony zachodniej) ozdobiono rzeźbami autorstwa Ludwika Kauffmanna i Pawła Malińskiego, wykonanymi w latach 1841-1849 i przedstawiającymi Ojców Kościoła: świętych Augustyna, Ambrożego, Grzegorza i Hieronima oraz apostołów Piotra i Pawła.