Przebywając w Warszawie Rumel odnowił kontakty z działaczami ruchu ludowego, w tym z Banachem. Prowadził wraz z bratem Stanisławem i żoną Anną z Wójcikiewiczów (poślubioną w 1941) sklep z naczyniami kuchennymi na Ochocie, który służył za punkt kontaktowy konspiracji. Włączył się w prace podziemnej drukarni Komendy Głównej Batalionów Chłopskich.

Od jesieni 1941 roku był emisariuszem Batalionów Chłopskich na Wołyń. Na początku 1943 roku promowany przez Kazimierza Banacha na dowódcę VIII okręgu BCh – Wołyń (pseudonim „Krzysztof Poręba”).

Na początku lipca 1943 roku wydano mu rozkaz przeprowadzenia rozmów z miejscowym dowództwem Ukraińskiej Powstańczej Armii (UPA) na Wołyniu. Rumel stanął na czele delegacji wysłanej przez Kazimierza Banacha, pełnomocnika Rządu Rzeczypospolitej Polskiej, mającej na celu zahamowanie rzezi wołyńskiej i uzgodnienie wspólnej z Ukraińcami walki z Niemcami. Zrezygnowawszy ze zbrojnej obstawy w geście dobrej woli, Zygmunt Rumel udał się 10 lipca 1943 do kwatery lokalnego dowództwa SB OUN wraz z przedstawicielem Okręgu Wołyńskiego AK Krzysztofem Markiewiczem pseudonim „Czort” i woźnicą Witoldem Dobrowolskim. Wszyscy trzej zostali tam aresztowani i zabici. Według przekazów rodzinnych, rozpowszechnionych przez Annę Kamieńską, mord odbył się przez rozerwanie końmi.