Skriv en fortsættelse til dette afsnit - De følgende årtier var noget mindre stormfulde. Lida blev hærget af Krimtatarerne i 1506 og blev stormet af russerne under den russisk-polske krig i 1659. Svenskerne, der indtog byen to gange under den store nordiske krig, fik begge tårne sprængt i luften. I 1794 var slottets område stedet for et slag mellem Kościuszko's tilhængere
og russerne.