Hans styre blev dog afvist af Ludvigs efterfølgere fra Huset Habsburg, som mistænksomt så på Hohenzollern-husets magtforøgelse i Schlesien. Efter slaget ved White Mountain i 1620
Kejser Ferdinand II af Habsburg benyttede lejligheden til at fratage kurfyrst Georg Wilhelm af Brandenburg herredømmet over Bytom. Det forblev derefter et statsland inden for det habsburgske monarki indtil det blev annekteret af Preussen i 1742.