James Milne, senere kendt som James Mill, blev født i Northwater Bridge, i sognet Logie Pert, Angus, Skotland, søn af James Milne, en skomager og lille landmand. Hans mor, Isabel Fenton, af en familie, der havde lidt i forbindelse med Stuart-opstanden, besluttede, at han skulle få en førsteklasses uddannelse, og sendte ham først til sogneskolen og derefter til Montrose Academy, hvor han forblev indtil den usædvanlige alder af sytten og et halvt. Han gik derefter ind på University of Edinburgh, hvor han udmærkede sig som en græsk lærd. I oktober 1789 blev han ordineret som en minister i Church of Scotland, men mødte med lidt succes. Ifølge John Stuart Mills selvbiografi, hans far, "uddannet i den besatte Scotch essayister, udgivet af sine egne sko og to ambitiøse studier, havde viet sig selv til at få en første klasses uddannelse, og i 1803 skrev han i stedet for at være medlem af den britiske kirke, som han havde tilhørte, i stedet for at være en forfatter af den engelske bog, som blev kaldt The Chronicle
Mølle