W latach trzydziestych XIX wieku mający dwieście lat Tadź Mahal był zaniedbany i zarośnięty, niemalże popadł w ruinę. Lord William Bentinck, generalny gubernator Bengalu, wysunął propozycję rozebrania tego wyjątkowego monumentu, przesłania marmuru statkiem do Londynu i tam sprzedania go. Zamiar ten nie doszedł do skutku tylko dlatego, że marmur zerwany z Czerwonego Fortu nie znalazł nabywców. W roku 1900 kolejny wicekról Indii, lord George Curzon, nakazał odrestaurować podupadłe mauzoleum.
Według legendy cesarz planował wznieść duplikat po przeciwległej stronie rzeki Jamuny, wykonany w całości z czarnego marmuru. Czarny Tadź Mahal był jednak tylko wymysłem francuskiego podróżnika Jean-Baptiste Taverniera. Po drugiej stronie widać pewne pozostałości, które można było uznać za fundamenty pod drugi Tadź Mahal – są to jednak pozostałości po dalszych ogrodach oryginalnego Tadź Mahal, które zostały zrujnowane na skutek powodzi. Inne pogłoski mówią, jakoby Czarny Tadź Mahal miał być tak naprawdę tylko odbiciem Tadź Mahalu w basenie w przeciwległych ogrodach.