Umowa o wynajęcie pomieszczeń klubu została podpisana z państwową spółką Eureka, która w marcu 2005 przegrała proces z miastem Warszawa i straciła prawo własności do kamienicy przy ulicy Freta, w której miał siedzibę klub. Nowy właściciel budynku, Urząd m.st. Warszawy, postanowił nie honorować dotychczasowych umów najmu. Przez rok trwały starania właścicieli o utrzymanie się klubu w tym miejscu. Miasto do stycznia 2006 nie wystawiało klubowi faktur za opłaty z tytułu najmu. Kiedy w styczniu 2006 wystawiło fakturę zbiorczą, właściciele zakwestionowali wysokość wyliczonej w niej opłaty za czynsz.
O klubie stało się głośno w marcu 2006, gdy pojawił się komornik sądowy Jacek Bogiel. Przez kilka dni i nocy na miejscu protestowali bywalcy, miłośnicy, politycy i artyści. Poparcia klubowi udzielił aktor John Malkovich, który w tym czasie przebywał w Warszawie. 31 marca 2006 w Le Madame pojawił się komornik sądowy w eskorcie policji i protestujący zostali usunięci z lokalu siłą, a klub został komisyjnie opieczętowany.
Według właścicieli i sympatyków klubu zamknięcie oraz eksmisja nie miały związku z długami, lecz były spowodowane względami ideologicznymi rządzącej ówcześnie miastem partii PiS.