Po ich zarejestrowaniu z trudem przywożono matryce do Polski, gdzie tłoczono płyty z tymi nagraniami pod fałszywymi tytułami, chcąc zataić ich faktyczną zawartość muzyczną przed rosyjskimi celnikami.
Po wojnie śpiewał w chórze kościelnym w kościele św. Mikołaja w Grójcu.
Repertuar W swoim repertuarze posiadał głównie utwory z nurtu muzyki ludowej, a także pieśni kościelne i patriotyczne. Rzadko rejestrował również operę. Jedno z nagrań arii w wykonaniu Szterna ukazało się na wałku wytwórni Edison Goldguss Walze ok. 1906 roku.
Nagrania płytowe Uchodzi za jednego z pierwszych artystów, których śpiew w języku polskim został utrwalony na płytach gramofonowych i wałkach. Pierwsze nagrania Szterna datuje się na przełom lat 1901/1902, kiedy to zarejestrował serię 7 nagrań dla wytwórni E. Berliner's GramophoneInformacja pochodzi z katalogu wytwórni na rok 1902, który dostępny jest w języku rosyjskim pod następującym linkiem: