Skriv en fortsættelse til dette afsnit - Siden det 15. århundrede var byområdet, herunder andre dele af Labuan, under det bruneiske imperium. Dens historie går tilbage til den tid, hvor øen blev afstået af sultan Omar Ali Saifuddin II til briterne. Rodney Mundy, en britisk flådeofficer, besøgte senere øen under navnet Dronning Victoria. Øen blev derefter besat af Japan fra den 3. januar 1942 til juni 1945 og styret som en del af den militære enhed Northern Borneo af den japanske 37. hær. Under slaget ved Labuan
Det blev befriet af 9. division af Australian Imperial Force den 10. juni 1945 og placeret under en britisk militær administration indtil den 15. juli 1946, da det blev indarbejdet i North Borneo Crown Colony. I løbet af denne tid genopbyggede regeringen i Crown Colony meget af den infrastruktur, der var blevet ødelagt under krigen. Øen blev senere en del af staten Sabah og Malaysia i 1963, før staten Sabah gav øen til den føderale regering i 1984. Det blev erklæret et internationalt offshore finansielt center og frihandelszone i 1990 for at hjælpe udviklingen af Victoria.