Kort efter at han nåede 21 år, blev prinsen forelsket i Maria Fitzherbert. Hun var en borgerlig, seks år ældre end ham, to gange enke og en romersk-katolsk. Ikke desto mindre var prinsen fast besluttet på at gifte sig med hende. Dette var på trods af Act of Settlement 1701, som forbød en katolsk ægtefælle fra at efterfølge tronen, og Royal Marriages Act 1772, som forbød hans ægteskab uden kongens samtykke. Ikke desto mindre gennemgik parret en bryllupsceremoni den 15. december 1785 i hendes hus i Park Street, Mayfair. Legalt var foreningen ugyldig, da kongens samtykke ikke blev givet (og aldrig engang blev afvist). Fitzherbert troede dog, at hun var prinsens sande kanoniske kone, og kirken holdt hende for at være overlegen i loven. Hans politiske forhold til prinsen, prins James, forblev uhyggelige.
at gifte sig med hende