Wszystkie wersje opowieści o śnie cesarza Minga i jego misji do Yuezhi mają swój początek w jednym źródle, przedmowie do Sutry w Czterdziestu Dwóch Częściach, która pochodzi z połowy III w. n.e. Wtedy też najprawdopodobniej narodziła się legenda o powstaniu Świątyni Białego Konia. Pierwsze ślady buddyzmu w Luoyangu datowane są na II wiek n.e. i chociaż istniały tam wówczas buddyjskie budynki, to sama Świątynia Białego Konia prawdopodobnie powstała dopiero w następnym stuleciu. Współczesny budynek świątyni pochodzi z czasów dynastii Ming, z późniejszymi elementami dodanymi w trakcie kolejnych renowacji.
Architektura Świątynia położona jest wśród wiekowych drzew, na obrzeżach miasta, około 12 kilometrów od jego centrum. Przed jej wejściem znajduje się ogrodzony płotem staw rybny. Cały kompleks obejmuje powierzchnię 34,000 m².