På kronprinsens opfordring indgav han under [[22. november]] [[1858]] sin ansøgning om afsked, hvilken blev indvilget [[8. december]] samme år. Begivenheden vakte stor opsigt. Med denne Vogts tilbagetræden var den sidste mand fra 1814, der endnu var tilbage i Norges offentlige liv, trådt over i det private liv. Hans ''Optegnelser om sit Liv og sin Embedsvirksomhed'' for årene 1784 – [[1845]] udkom [[1871]]; for [[1847]]-1858 udkom de i [[1895]]. Disse i formen meget tørre [[selvbiografi|memoirer]] er et værdifuldt historisk [[kildeskrift]]. Forfatterens tunge stil kan hyppig brede sig med knudret omstændelighed. Men så lægger han pludselig i en kort, udtryksfuld sætning frem et vink til bedømmelse af personer og forhold, der kan opveje mangen en udførlig omfattende skildring. Frem for alt anses disse memoirer være pålidelige.
Politik Historie Organisationer Uddannelsesinstitutioner