Po selitvi v Džakarto je Latuharhary začel delati za Japonce pod ministrstvom za notranje zadeve, da bi upravljal Moluke na Javi in imel odgovornost za njihove dejanja. Leta 1944 je Kenpeitai aretiral skupino Amboncev, med njimi tudi Latuharharyja, in jih pripeljal v Bogor, ker so bili osumljeni vohunstva za zavezniške sile in zaradi dejstva, da je Latuharhary delno uporabil svoj položaj v japonski upravi za politične namene. Vendar je njegovi ženi in dvema drugim ponovno uspelo prepričati japonskega poveljnika mornarice, naj poskrbi za njihovo izpustitev. Konec leta 1944 so ga spet aretirali, ko je iz zapora pobegnil molukanski zapornik. Japonske oblasti so bile takrat še posebej sumljive do Amboneseja po
Bitka pri Morotaiju in strateški bombardiranje Ambona leta 1944, ki so ga dodatno spodbudile zaveznikove vohunske operacije na Molukah, ki jih je vodil Ambonese Julius Tahija.