22 lipca 1942 roku w getcie warszawskim rozpoczęła się tzw. Wielka akcja deportacyjna. Kilka dni później na polecenie zastępcy szefa „referatu żydowskiego” w warszawskim Gestapo, SS-Untersturmführera Karla Georga Brandta, Szmerling został awansowany do stopnia obwodowego. W czasie „Wielkiej Akcji” pełnił funkcję dziennego kierownika Umschlagplatzu, współpracując z Niemcami przy formowaniu transportów do Treblinki. Tym samym stał się jednym z trzech – obok Józefa Szeryńskiego i Jakuba Lejkina – najważniejszych członków kierownictwa ŻSP, a zarazem jedną z najbardziej wpływowych osób w getcie.

Jako kierownik Umschlagplatzu zasłynął z bezwzględności, a wręcz bestialstwa. Według niektórych relacji jego gorliwość sięgała tak dalece, że nie zgadzał się na zwolnienie z Umschlagplatzu żadnego mieszkańca getta, „ani za najwyższą łapówkę, ani nawet na rozkaz urzędników i żołnierzy niemieckich”. W innych źródłach, m.in. w relacji Emanuela Ringelbluma, jest natomiast opisywany jako łapownik, który zwalniał z Umschlagplatzu tylko w zamian za pieniądze lub kosztowności. Niejednokrotnie z szeregów policji usuwał funkcjonariuszy, którzy potajemnie wypuszczali Żydów z placu przeładunkowego.