Małżonkowie doczekali się troje dzieci, dwóch synów i córki.
18 marca 1694 Brandl został członkiem cechu malarzy św. Łukasza na Starym Mieście w Pradze. Miał coraz większą renomę oraz coraz liczniejsze grono bogatych zleceniodawców, co zapewniało mu duże dochody, malarz nigdy nie zrezygnował z hulaszczego trybu życia, tytoniu i alkoholu, co powodowało szybkie roztrwonienie pieniędzy. Z tego też powodu rozpadło się jego małżeństwo – malarz już po kilku latach porzucił żonę i dwójkę dzieci (trzecie – chłopiec -zmarło w dzieciństwie przed rozstaniem małżonków), w znacznym stopniu unikając obowiązku alimentacyjnego względem nich do końca życia. Podobnie nie płacił obowiązkowych składek dla swojego macierzystego cechu.
Popadając w długi i konflikty z prawem Brandl trafił po raz pierwszy do więzienia w Hradcu Králové jesienią 1728. Po opuszczeniu go nie był jednak w stanie spłacić swoich wierzycieli, w związku z czym ponownie został uwięziony. Dopiero w sierpniu 1731 pomógł mu opat cysterski z Krzeszowa Innozenz Fritsch, który poręczył za artystę oraz spłacił jego długi częścią honorarium za namalowanie obrazu do ołtarza głównego dla nowo budowanego kościoła swojego opactwa. Pozwoliło to Brandlowi na wyjście z więzienia, ale nie zmieniło jego trybu życia.