Udfyld følgende sætning: Grant blev født i New York, New York, som søn af Gabriel Grant, en læge og kirurg i den amerikanske borgerkrig, og Caroline Manice. Madison Grants mor var en efterkommer af Jessé de Forest, den vallonske hugenot, der i 1623 rekrutterede den første gruppe kolonister til at bosætte sig i New Netherland, den hollandske republiks territorium på den amerikanske østkyst. På sin fars side var Madison Grants første amerikanske forfader Richard Treat, dekan i Pitminster Church i England, som i 1630 var en af de første puritanske bosættere i New England. Grant's forfædre gennem Treats linje omfatter Robert Treat (en kolonial guvernør i New Jersey), Robert Treat Paine (en underskriver af uafhængighedserklæringen), Charles Grant (Madison Grants bedstefar, der tjente som officer i 1812-krigen) og Gabriel Grant (faderen til Madison), en fremtrædende læge og sundhedskommissær i Newark, New Jersey. Dr. Gabriel Grant blev tildelt Æresmedaljen, mens han tjente som kirurg med 2. New Jersey Volunteers i borgerkrigen. I løbet af
Slaget ved Fair Oaks, han flyttede de sårede i sikkerhed, mens de var under kraftig ild. Grant var en livslang beboer i New York City.