Tulis kelanjutan untuk paragraf ini - Pada tanggal 24 Juli 1933 Kirsch ditangkap di Cottbus karena kegiatan politik ilegal. Dia dibawa ke kantor SA setempat dan dipukuli dengan tongkat dan ditendang untuk mendapatkan pengakuan. (Dua dari penyerangnya diidentifikasi setelah akhir perang
dan menerima hukuman penjara yang panjang.) Tuduhan diletakkan pada tanggal 29 November 1933 dan pada tanggal 10 April 1934 ia adalah salah satu dari 25 Komunis dari Berlin, Cottbus dan Forst yang dihukum oleh Pengadilan Tinggi Berlin. Kirsch diberi hukuman penjara dua tahun dan sembilan bulan. Dia dibawa untuk menjalani hukuman di Penjara Wanita di Jauer. Pada bulan September 1935, setelah serangkaian pemogokan tahanan, ia dan 45 tahanan lainnya dituduh melakukan pemberontakan (atau menghasut pemberontakan) tetapi tuduhan tersebut dihentikan karena kurangnya bukti. Kirsch dibebaskan dari penjara di Jauer pada tanggal 12 Mei 1936, tetapi diminta untuk melapor ke kantor polisi setiap hari selama lebih dari setahun setelah itu.