Albert var den eneste søn af Otto, greve af Ballenstedt, og Eilika, datter af Magnus Billung, hertug af Sachsen. Han arvede de værdifulde godser i det nordlige Sachsen fra sin far i 1123, og ved sin mors død i 1142 efterfulgte han halvdelen af Billungernes hus. Albert var en loyal vasal af sin slægtning, Lothar I, hertug af Sachsen, fra hvem han omkring 1123 modtog markgrevskabet Lusatien, mod øst; efter at Lothar blev tyskernes konge, ledsagede han ham på en katastrofal ekspedition til Bøhmen mod opstarten, Soběslav I, hertug af Bøhmen i 1126 ved slaget ved Kulm, hvor han led en kort fængsling.
Otto