Wrubel był dzieckiem słabym i chorowitym – samodzielnie zaczął chodzić dopiero w wieku trzech lat. Jego dzieciństwo upłynęło pod znakiem częstych przeprowadzek, związanych ze służbą wojskową ojca. W 1859 roku wdowiec został przeniesiony do Astrachania, gdzie mógł liczyć na wsparcie krewnych. Rok później rodzina zamieszkała w Charkowie, gdzie mały Wrubel nauczył się czytać i zafascynował się ilustracjami, zwłaszcza tymi z czasopisma Żywopisnoje obozrienije stran swieta.

W 1863 roku ojciec artysty ożenił się ponownie – jego wybranką została petersburżanka Jelizawieta Wessel, która całkowicie poświęciła się wychowaniu jego dzieci. Pierwsze własne dziecko urodziła dopiero w 1867 roku. Dbała także o zdrowie chłopca – choć później artysta z ironią wspominał dietę z surowego mięsa i tranu, rygorystyczne zasady żywieniowe macochy przyczyniły się do poprawy jego kondycji. Rodzina Wesselów należała do inteligencji. Siostra macochy, Aleksandra, ukończyła Konserwatorium Petersburskie i wprowadziła przyszłego malarza w świat muzyki. Jej brat, Nikołaj, był zawodowym nauczycielem i chętnie stosował w wychowaniu Anny i Michaiła metody edukacyjnej gry oraz teatru domowego. Choć relacje rodzinne układały się dobrze, rodzeństwo Wrubelów trzymało się nieco na uboczu.