34 Arkansas je kasneje služil v obrambi Little Rocka septembra 1863 s Faganovo brigado. Napredovanje Unije proti Little Rocku so nasprotovale predvsem konjeniške divizije generalov Marmaduka in Walkera. Konfederativne pešadijske brigade so bile zakopane na severni strani reke Arkansas. Po besedah kapitana Ethana Allena Pinnella iz Osme pešadijske divizije Missourija, "naša dela segajo od reke Arkansas dve milji pod mestom do vzhodnega dela Crystal Hilla, na razdalji 6 milj. Brigada generala Fagana je na skrajni desni, Parson na levi, Frost na sredini in McRea na levi". Unijske sile so vzpostavile pontonski most blizu Bayou Fourche in prešle na južno stran zelo nizke reke Arkansas. S svojimi deli na severni strani reke, ki so bili zdaj obkroženi, je bil general-major Price prisiljen zapustiti mesto 10. septembra po kratkem spopadu pri Bayou Fourche.
-Kaj? Priceova vojska se je umaknila proti Rockportu. Polkovnik Alexander T. Hawthorn je prevzel poveljstvo brigade jeseni 1863. Polk je zimsko leto 1863-64 preživel v Camdenu v okrožju Ouachita.