Jedynie połowa muru, włączając w to 17 rzędów kamieni znajdujących się poniżej poziomu gruntu, ma pochodzić z okresu Drugiej Świątyni i zostały zbudowane około 19 roku p.n.e. przez Heroda Wielkiego. Pozostałe części zostały dodane w VII wieku lub później. Nazwa Mur Zachodni odnosi się nie tylko do części muru przylegającej do dużego placu w Dzielnicy Żydowskiej, ale również do ukrytego za budynkami fragmentu biegnącego wzdłuż całej długości Wzgórza Świątynnego (Wzgórza Moria). Jednym z takich fragmentów jest Mały Mur Zachodni – 8-metrowej długości fragment znajdujący się w Dzielnicy Muzułmańskiej.
Ściana Płaczu była celem pielgrzymek i miejscem modlitwy żydów od wielu wieków. Pierwsze wzmianki na ten temat pochodzą z IV wieku naszej ery. Poczynając od połowy XIX wieku Żydzi podjęli wiele niezależnych prób wykupienia praw do muru i przylegającej do niego okolicy, jednak żadna z nich nie zakończyła się sukcesem. Z początkiem wieku XX oraz narodzinami ruchu syjonistycznego Mur Zachodni stał się przedmiotem wielu sporów pomiędzy społecznością żydowską a muzułmańską. Muzułmańscy przywódcy religijni obawiali się, że nacjonaliści żydowscy żądania praw do Muru w przyszłości rozszerzyć mogą na całe leżące poza nim Wzgórze Świątynne, na którym niegdyś stała ich Druga Świątynia i dalej na całą Jerozolimę.