Leta 1584 se je poročil s Sibilo Crelin, s katero je imel šest sinov in eno hčerko. Njihovi sinovi Aleksander (1587-1661), Vincent (1595<unk>1675) in Niclaes (1598<unk>1658) so postali slikar mrtve podobe, bojni slikar in portretist. Preden je padel Antwerpen
, Emmanuel je bil verjetno kalvinist, saj je bil njegov prvi sin krščen v katoličanstvo šele po padcu Antwerpna. Kot katoličan je bil po padcu Antverpena vpisan v "zapise o čiščenju" antverpske civilne straže. Njegovo bogastvo in dobre zveze z višjimi krogi antverpske družbe so ga morda ščitili. Emmanuel je bil kasneje imenovan za poveljnika civilne straže, kar mu je zagotavljalo redni dohodek. Leta 1595 je sodeloval pri osvoboditvi sosednjega mesta Lier, ki so ga zasedle čete Nizozemske republike.