Miał jedną siostrę Michalinę, która wyszła za mąż za Ludwika Kurcyusza (ich synem był Tadeusz Kurcyusz, wojskowy, w okresie II wojny światowej Komendant Główny NSZ).

Niewiele wiadomo o jego dzieciństwie, poza tym, że urodził się, kiedy jego rodzice byli około 40. roku życia i wcześnie został osierocony. Według innych źródeł jego ojciec zmarł w 1883 roku.

Edukację odbierał w Łomży i Warszawie, a następnie studiował filozofię w Lipsku, ale studiów nie ukończył.

W latach 80. XIX wieku przeniósł się do Warszawy, gdzie stał się bywalcem wielu warszawskich kawiarni i restauracji. Z czasem został znaną postacią życia towarzyskiego stolicy; był zaprzyjaźniony z większością najbardziej znanych polskich pisarzy, poetów, artystów i polityków. Znany był ze swoich egzystencjalnych monologów i anegdot. W okresie międzywojennym Fiszer stał się najbardziej znaną postacią warszawskiej śmietanki towarzyskiej, ozdobą niezliczonych balów i rautów.

Odziedziczona przez niego rodzinna posiadłość, folwark Ławy, zaniedbany, wkrótce został zlicytowany za długi. Nie zmieniło jednak to stylu życia Fiszera, restauratorzy chętnie go gościli, ponieważ był chodzącą reklamą ich lokali.