W 1783 r. książę Walii skończył 21 lat. Otrzymał wówczas od Parlamentu pensję w wysokości 60 000 funtów. Dodatkowo otrzymywał „kieszonkowe” od ojca w wysokości 50 000 funtów. Książę zamieszkał w Carlton House, gdzie prowadził rozrywkowy tryb życia. Zaczęły narastać animozje między księciem a jego ojcem, któremu nie podobał się tryb życia pierworodnego. Król był ponadto konserwatystą i patrzył nieprzychylnym okiem na wigowskie sympatie syna i jego przyjaźń z liderem radykalnego skrzydła wigów, Charlesem Jamesem Foxem.
mały|upright|lewo|Maria Anna Fitzherbert Wkrótce po 21 urodzinach zakochał się w Marii Annie Fitzherbert, katoliczce i wdowie po dwóch mężach (pierwszy z nich, Edward Weld, zmarł w 1775 r., drugi, Thomas Fitzherbert, zmarł w 1781 roku). Małżeństwo między Jerzym i Marią było zabronione na podstawie Act of Settlement z 1701 r., który zabraniał dziedziczenia korony tym, którzy poślubili katolików. Dodatkowo Akt o królewskich małżeństwach z 1772 r. wymagał zgody króla na małżeństwo następcy tronu. Zgoda króla na to małżeństwo nie wchodziła jednak w grę. Mimo to para pobrała się 15 grudnia 1785 r. w rezydencji pani Fitzherbert, przy Park Lane w Mayfair. Król nigdy nie uznał tego małżeństwa. Mimo to pani Fitzherbert uważała, że jej małżeństwo jest ważne, gdyż prawo kanoniczne stoi ponad prawem państwowym.