Setelah pindah ke Jakarta, Latuharhary juga mulai bekerja untuk Jepang di bawah Departemen Urusan Dalam Negeri untuk mengelola Moluccan di Jawa, dan bertanggung jawab atas tindakan mereka. Pada tahun 1944, sekelompok orang Ambon termasuk Latuharhary ditangkap oleh Kenpeitai dan dibawa ke Bogor karena mereka dicurigai melakukan spionase untuk pasukan Sekutu, dan karena fakta bahwa Latuharhary telah sebagian menggunakan posisinya dalam administrasi Jepang untuk tujuan politik. Namun, istrinya dan dua orang lainnya berhasil meyakinkan seorang komandan Angkatan Laut Jepang untuk mengatur pembebasan mereka. Pada akhir tahun 1944, ia ditangkap lagi setelah seorang tahanan Moluccan melarikan diri dari penjara. Pihak berwenang Jepang pada saat itu sangat curiga terhadap Ambonese setelah Pertempuran Morotai
dan pengeboman strategis Ambon pada tahun 1944, lebih lanjut didorong oleh operasi spionase Sekutu di Moluccas yang dipimpin oleh Ambonese Julius Tahija.