Skriv en fortsættelse til dette afsnit - Desuden blev han ramt af flere tragedier. I 1942 døde hans kone Elisabet, og i 1943 blev hans datter Raya, født af en jødisk mor, deporteret til interneringslejren Gaggenau af nazisterne, der besatte Alsace. Debora Logak, mor til sine børn, der bor i Montrouge nær Paris, blev arresteret i juli 1942 i den ondskabsfulde franske politi raid af Vélodrome d'Hiver
- Hvad? Hun blev holdt i Drancy interneringslejr og menes at være blevet dræbt i Auschwitz interneringslejr. Efter at have hørt, at Det Tredje Rige støttede kunstnere, sendte Fiebig en anmodning om pension til Goebbels, som ikke kunne være mindre interesseret i malerens værker. Selv om han var tysk af fødsel, blev han ikke godt modtaget af nazistadministrationen, især som indfødt fra Kurland. Han blev næsten tvunget til at udstille sit arbejde under Tysklands militære besættelse af Frankrig i bytte for vage løfter om pension, der aldrig ville blive opfyldt. Hans datter Raya blev mirakuløst skånet efter en kort nazistisk anholdelse. På trods af flere anmodninger ville han aldrig få fransk statsborgerskab. Han blev ramt af et vanskeligt liv under begge verdenskrige og personlige dramaer, blev næsten blind fra 1946 og kunne ikke længere male eller arbejde. Efter krigen blev han i 1948 sendt til Schweisguth-kasernen i Sélestat, der blev oprettet af Socialvelfærden for de nødlidende. Fiebig ville forblive nostalgisk for landskaberne i Courland hele sit liv. Han døde i fattigdom i Sélestat den 6. februar 1953 og efterlod Raya og et betydningsfuldt, men ikke anerkendt kunstværk. Hans slægtninge rapporterede, at han var blevet begravet på den protestantiske kirkegård, men byen Sélestat, hvis gade er opkaldt efter ham, har ingen optegnelse om hans grav i sine registre.