Harrison blev født i Orlando, Florida, og er tvillingebror til sin kollega Calvin Harrison, der også vandt en olympisk medalje. Et år før deres første forsøg på at komme på det olympiske hold, boede tvillingerne i deres Ford Mustang. Mens Calvin var stjernen i gymnasiet, og satte den nationale high school rekord i 400 meter, var det Alvin, der vandt den første olympiske plads i 1996 ved de olympiske prøvelser i 1996. Mens han nåede finalen i den individuelle 400 meter, han trak bane en og sluttede fjerde bag Michael Johnsons guldmedalje præstation. Men Johnson skadede sig og satte verdensrekord på 200 meter. Uden guldmedaljerne og verdensrekordindehaveren Butch Reynolds så det amerikanske hold ud til at være sårbart i 4 x 400 meter stafetten.
- Hvad? Det britiske hold så ud til at drage fordel af at gå hårdt i føringen, men som holdets andet ben tog Alvin over Jamie Baulch på hjemmestekningen for at sætte USA i føringen, en føring, de i sidste ende ikke ville opgive, hvilket gav Alvin en guldmedalje.