Han blev døbt den 14. juni 1812 i Lock's Fields Independent Chapel, York Street, Walworth, den eneste søn af Sarah Anna (født Wiedemann) og Robert Browning. Hans far var en velbetalt kontorist for Bank of England, der tjente omkring £ 150 om året. Browning farfar var en slaveejere i Saint Kitts, Vestindien, men Browning far var en afskaffelsesforkæmper. Browning far var blevet sendt til West Indies til at arbejde på en sukkerplantage, men på grund af en slave rumt, som han havde bosat sig der, vendte han tilbage til England.
16 og