Efter Tysklands genforening i 1990 blev Mielke retsforfulgt (1992), dømt og fængslet (1993) for
1931 mordene på Paul Anlauf og Franz Lenck. Han blev løsladt fra fængslet tidligt på grund af dårligt helbred i 1995 og døde i 2000 på et plejehjem i Berlin.