Tuliskan kelanjutan untuk paragraf ini - Dekade-dekade berikutnya agak kurang ribut. Lida dirusak oleh Tatar Krimea pada tahun 1506 dan diserang oleh Rusia selama Perang Rusia-Polandia pada tahun 1659. Orang Swedia, mengambilnya dua kali selama Perang Utara Besar, membuat kedua menara meledak. Pada tahun 1794, lahan kastil adalah tempat pertempuran antara pengikut Kościuszko
dan Rusia.