34 Arkansas kemudian melayani dalam pertahanan Little Rock pada bulan September, 1863, dengan Brigade Fagan. Kemajuan Uni di Little Rock ditentang terutama oleh divisi kavaleri Konfederasi dari Jenderal Marmaduke dan Walker. Brigade infantri Konfederasi menggali di sisi utara Sungai Arkansas. Menurut Kapten Ethan Allen Pinnell dari Infantri Missouri Kedelapan, "Pekerjaan kami membentang dari sungai Arkansas dua mil di bawah kota ke bagian timur Crystal Hill, jarak 6 mil. Brigjen Fagan berada di sebelah kanan, Parson di sebelah kiri Fagan, Frost di tengah dan McRea di sebelah kiri". Pasukan Uni mendirikan jembatan ponton di dekat Bayou Fourche, dan menyeberang ke sisi selatan Sungai Arkansas yang sangat rendah. Dengan karya-karyanya di sisi utara sungai yang sekarang diapit, Mayor Jenderal Price terpaksa meninggalkan kota pada tanggal 10 September, setelah pertunangan singkat di Bayou Fourche
Aku tahu. Pasukan Price mundur ke arah Rockport. Kolonel Alexander T. Hawthorn mengambil komando brigade pada musim gugur 1863. Resimen menghabiskan musim dingin 1863-64 di Camden, Ouachita County.