W latach 50. XIX wieku dogłębnie zmieniono organizację uniwersytetu, tworząc między innymi University College jako wydział bezpośrednio odpowiedzialny za kształcenie studentów. Przez następne lata kilka innych, działających w pobliżu, koledżów skonfederowało się z University of Toronto, między innymi: Victoria College (pod patronatem metodystów), St Michael’s College (rzymskokatolicki, prowadzony przez bazylianów) i Trinity College. Dziś te trzy instytucje są formalnie uznawane za uniwersytety, co znajduje odzwierciedlenie w ich nazwach. W latach późniejszych dodano jeszcze kilka koledżów od początku świeckich (New College, Innis College, Woodsworth College).
Wiele tych instytucji, mimo że są częścią uniwersytetu, zachowało pewien zakres autonomii i do dziś mają prawo wydawać dyplomy w niektórych dziedzinach (głównie teologii). Wiele z nich ma na terenie uniwersytetu odrębną „dzielnicę”, z własnymi salami wykładowymi, bibliotekami i akademikami (także z obiektami sakralnymi, jeżeli dany koledż nie jest świecki). Każdy student uniwersytetu musi formalnie należeć do jednego z tych siedmiu koledżów.