Skriv en fortsættelse til dette afsnit - Gårdene blev beskadiget adskillige gange i løbet af det 19. århundrede. Under den første opiumkrig brugte den britiske hær Huxinting Teahouse som base i flere dage i 1842. Under Taiping-oprøret
Da Qing-herskerne indtog haven, var de oprindelige strukturer næsten alle blevet ødelagt. De blev igen beskadiget af japanerne i 1942 før de blev repareret af Liangshun Han (Rockery Han) udnævnt af Shanghai-regeringen fra 1956 til 1961. De blev åbnet for offentligheden i 1961 og erklæret som et nationalt monument i 1982.