Grindlay se je 8. septembra 1862 vpisal v vojsko v Boonvillu. Pridružil se je četu D 146. newyorške pešadije kot kapitan. V maju in juniju 1864 je polk sodeloval v kopenskem pohodu generala Ulysseja S. Granta v Virginiji. V bitki v divjini v prvem tednu maja je 146. polkovnik utrpel velike izgube. Tako poveljnik polka kot njegov namestnik sta bila ubiti v akciji, tako da je bil Grindlay najstarejši častnik. Prevzel je poveljstvo polka in ga vodil skozi bitko pri Spotsylvanski dvornici, ki je sledila takoj. Grindlay je bil povišan v majorja in vodil 146. za preostanek kampanje, vključno z bitkami pri Severni Anni, Totopotomoy Creek
in Cold Harbor.