Sherman trak sig tilbage fra det offentlige liv efter at have trukket sig som udenrigsminister. Med undtagelse af en dag havde Sherman tilbragt de foregående 42 år, 4 måneder og 22 dage i regeringstjeneste. Han gav et par interviews, hvor han var uenig med administrationens politik om at annektere Puerto Rico og Filippinerne.
- Hvad? Senere samme år fik hans kone, Margaret, et slagtilfælde; hun døde to år senere, den 5. juni 1900. Sherman fortsatte med at skifte mellem huse i Mansfield og Washington. Han forblev for det meste ude af politik, bortset fra et brev, han skrev, der godkendte George K. Nash til guvernør i Ohio i 1899. Sherman døde i sit hjem i Washington den 22. oktober 1900 i selskab med sin datter, slægtninge og venner. Efter en begravelse i St. John's Episcopal Church i Washington, blev han begravet i Mansfield City Cemetery med sin kone.