General [[Heinrich Wilhelm von Huth|von Huth]] var idémanden bag oprettelsen af selskabet og dets bibliotek, og han boede selv i en af Gjethusests fløje. Det krævede dog en del ombygning at indrette sig, og selskabet og biblioteket blev først åbnet for offentligheden i [[1787]]. Biblioteket indeholdt en bogsamling, der var passende læsning for officerernes uddannelse, således værker der behandlede dansk og svensk geografi og historie, det 18. århundredes største feltherrers historie, bøger om krigskunsten, atlasser og kort på pap samt træklodser, der kunne anvendes til krigsspil. Biblioteket lededes af kaptajn [[Werner Abrahamson|Werner Hans Frederik Abrahamson]], og han sørgede personligt for, at bibliotekets bogsamling omfattede mere end bare militære fagbøger, således at der efterhånden blev opbygget en samling, der gjorde Garnisonsbiblioteket til et betydeligt hovedbibliotek. Han fik samlet en kreds af officerer samt kronprins [[Frederik 6.|Frederik]] til at yde et fast årligt beløb til bogindkøb, fra [[1791]] således 100 rigsdaler om året, og bogsamlingens kataloger viser stigningen fra 383 bind i [[1793]] til 1053 bind i [[1803]].
Historie Kultur Foreninger Organisationer