Wirtualizacja to zdolność systemu komputerowego do dzielenia zasobów w jednym fizycznej maszynie na wiele wirtualnych serwerów. z/VM pozwala na współdzielenie fizycznych zasobów mainframe, takich jak pamięć dyskowa, pamięć RAM, karty sieciowe oraz procesor. Zasoby te zarządzane są przez zarządcę.
Zarządca w z/VM nazywany jest Control Program (CP). Kiedy użytkownik loguje się do systemu tworzy wirtualną maszynę, w której może uruchomić wiele systemów operacyjnych, takich jak z/OS, z/TPF, Linux, z/VSE, CMS albo po prostu z/VM kolejnego poziomu. Tworzy wirtualną maszynę składającą się z wirtualnych procesorów, urządzeń komunikacyjnych oraz zasobów. Zmniejsza to znacząco koszty administracji. Dzięki temu można łatwiej i efektywniej rozplanować zasoby dla poszczególnych maszyn, które oddzielone od siebie, mogą robić coś zupełnie innego znajdując się w jednym mainframe. Uruchomione oprogramowanie jest zupełnie nieświadome, że warstwa sprzętowa została zwirtualizowana. Wydaje mu się, że działa na osobnej odseparowanej maszynie.