Napisati nadaljevanje za ta odstavek - V 19. stoletju so bili vrtovi večkrat poškodovani. Med prvo opijsko vojno je britanska vojska leta 1842 Huxintingovo čajnico uporabljala kot bazo za operacije. Med Taipingovim uporom
V času, ko so čingove čete obnovile vrt, so bile izvirne strukture skoraj vse uničene. Leta 1942 so jih ponovno poškodovali Japonci, preden jih je od leta 1956 do 1961 popravil Liangshun Han (Rockery Han), ki ga je imenovala šanghajska vlada. Leta 1961 so bili odprti za javnost in leta 1982 razglašeni za nacionalni spomenik.