U schyłku XVIII w. filozof i moralista Marcin Nikuta prowadził tu pensjonat dla młodzieży szlacheckiej. Na początku XIX w. pałac popadł w ruinę, a obszerne jego podziemia ciągnące się rzekomo w kierunku ulicy Książęcej, stały się siedzibą włóczęgów i szumowin wychodzących nocami na rabunek. Franciszek Maksymilian Sobieszczański w Rysie historyczno-statystycznym wzrostu i stanu Warszawy od najdawniejszych czasów aż do 1847 wspomina o słynnym dziwaku i oryginale mieszkającym w zrujnowanym Pałacu Ordynackim na początku XIX w.: „… Stefan Wyszotrawka, powszechnie Stefaniakiem przezywany, przybył w czerwcu 1805 roku do Warszawy z dóbr starościny Chodkiewiczowej, Pękałowa na Wołyniu. Póki mu przywiezione ze sobą pieniądze starczyły, kupował co dzień kilka bukietów, które zaraz dorodnym pannom ofiarowywał. Był bardzo wesoły i zabawny, ubierał się dziwacznie: zwykle nosił frak staroświeckim krojem, kamizelkę pąsową, spodnie czarne, krótkie, pończochy białe jedwabne lub cienkie niciane i kapelusz okrągły z dużymi skrzydłami. Kiedy mu już funduszu zabrakło, zaczął się trudnić krawiectwem, przebierając lub nicując płaszcze i surduty.