Det er indrettet i en bygning kendt som "The Retreat",<ref name="Murphy2001">{{cite book|author=Alan Murphy|title=Scotland Highlands & Islands handbook: the travel guide|url=https://books.google.com/books?id=_ks6lKODLoMC&pg=PA169|access-date=27. februar 2012|date=1. oktober 2001|publisher=Footprint Travel Guides|isbn=978-1-900949-94-1|pages=169–170}}</ref> der blev opført i 1850'erne af Captain J.E. Wemyss.<ref name=AngusGlens>{{cite web|title=Glenesk Museum|url=http://www.angusglens.co.uk/esk/glenesk_museum.php|work=AngusGlens|publisher=Angus Council|access-date=27. februar 2012}}</ref><ref name=FAQ>{{cite web |title=FAQ |url=http://www.gleneskretreat.co.uk/#/faq/4548065370 |publisher=Glenesk Retreat and Folk Museum |access-date=28. februar 2012 |archive-url=https://web.archive.org/web/20120115231026/http://www.gleneskretreat.co.uk/ |archive-date=15. januar 2012 |url-status=dead }}</ref> Bygningen blev senere overtaget af [[jarl af Dalhousie|jarlerne af Dalhousie]].<ref name="Sawyers1999">{{cite book|author=June Skinner Sawyers|title=Maverick Guide to Scotland|url=https://books.google.com/books?id=55ZaYPD-g10C&pg=PA234|access-date=27. februar 2012|date=1. august 1999|publisher=Pelican Publishing|isbn=978-1-56554-227-3|page=234}}</ref>
Museet blev ombygget og udvidet i 2007.<ref name=FAQ/>
Kultur Foreninger Organisationer