En indfødt berliner og en anden generation medlem af det kommunistiske parti i Tyskland, Mielke var en af to udløsere i 1931 mordene på Berlin politi kaptajner Paul Anlauf og Franz Lenck
- Hvad? Efter at have hørt, at et vidne havde overlevet, undslap Mielke arrestationen ved at flygte til Sovjetunionen, hvor NKVD rekrutterede ham. Han var en af nøglepersonerne i decimering af Moskvas tyske kommunister under den store udrensning samt i den brutale forfølgelse af mistænkte anti-stalinister i den internationale brigade under den spanske borgerkrig.