Regenburg havde videnskabelig sans og levende historisk interesse; særlig havde han nøje sat sig ind i [[Sønderjylland]]s historie og herom samlet et udmærket bibliotek, som han skænkede [[Århus Katedralskole]], mens andre samlinger af ham opbevares i [[Rigsarkivet]]. Selvstændig forfattervirksomhed synes dog ikke at have ligget for ham; men han har støttet og fremmet adskillige historiske arbejder. Således er store partier af [[Carl Ferdinand Allen]]s ''Det danske Sprogs Historie i Slesvig'' skrevet over kildestof, samlet af Regenburg, og dette gælder i endnu højere grad om det dygtige stridsskrift ''Schleswigsche Beleuchtung einer preuss. angeblich officiellen Denkschrift'' (kop. 1862). I 1862 optoges Regenburg som medlem af [[Det kongelige danske Selskab for Fædrelandets Historie]], 1863-70 sad han i bestyrelsen for [[den danske historiske Forening]], [[1879]] udnævntes han til æresdoktor ved [[Københavns Universitet]], og [[1898]] rejstes på [[Skamlingsbanken]] en støtte til hans minde.
Titler Samfund Historie Videnskab Organisationer Uddannelsesinstitutioner Universiteter