8 września 2015 rozwiązał kontrakt z klubem za porozumieniem stronMariusz Rumak odszedł z Zawiszy [data dostępu: 2015-09-08].
9 marca 2016 został szkoleniowcem Śląska WrocławMariusz Rumak trenerem Śląska [data dostępu: 2016-03-09], jednak 19 grudnia 2016 został zwolniony za porozumieniem stron. Od 13 czerwca do 19 września 2017 był trenerem Bruk-Bet Termaliki Nieciecza. 14 maja 2018 został trenerem Odry Opole1. liga. Mariusz Rumak trenerem Odry Opole [data dostępu: 2018-05-14]Odra Opole ma nowego trenera! To Mariusz Rumak [data dostępu: 2018-05-14]. Z powodu słabych wyników na początku sezonu 2019/2020 został zwolniony z tej funkcjiKomunikat dotyczący stanowiska trenera [data dostępu: 2019-08-24].
17 grudnia 2023 Lech Poznań poinformował o rozstaniu z dotychczasowym trenerem, Johnem van den Bromem, i jednocześnie przekazał, że umowę do końca sezonu 2023/24 podpisał Mariusz Rumak. 10 maja 2024, na konferencji prasowej przed domowym meczem przeciwko Legii Warszawa potwierdził swoje odejście po sezonie. Po przegranym 1:2 meczu z klubem ze stolicy, w następnej kolejce (przedostatniej 19 maja) Lech zremisował 1:1 z Widzewem Łódź, przez co stracił szansę na awans do eliminacji Ligi Konferencji UEFA.