Po smrti Hemchandra Chowdhuryja so njegovi nasledniki prepotovali državo zaradi strahu pred komunalnimi nemiri med delitvijo Indije in Pakistana leta 1946. Shyamkanta Ganguly in njegov sin Kamal Ganguly sta odšla v Hemnagar, vendar sta med vojno leta 1965 tudi ona izselila. Med vojno za osvoboditev Bangladeša
Rajbari Hemanagar je bil zatočišče za borce za svobodo.