Woolsey se je rodil v okrožju Leelanau, Michigan, 29. avgusta 1894, sin Byrona Woolseyja in Sarah Hall. Woolseyjev dedek, Chauncey Woolsey, je umrl leta 1864 v bitki pri potoku Totopotomoy
V okrožju Hanover, Virginia med državljansko vojno. Njegov praded, Adolphus Woolsey, je služil v vojni leta 1812. Woolsey je bil potomek Georgea (Jorisa) Woolseyja, naseljenca New Amsterdama iz 17. stoletja in prednika družine Woolsey v Ameriki.