Passage: Tokens er ofte defineret ved regelmæssige udtryk, som forstås af en leksikalsk analysator generator som lex. Den leksikalske analysator (genereret automatisk af et værktøj som lex, eller håndlavet) læser i en strøm af tegn, identificerer leksemerne i strømmen, og kategoriserer dem i tokens. Dette kaldes tokenizing. Hvis lexer finder en ugyldig token, det vil rapportere en fejl. Spørgsmål: Hvad vil det finde, hvis det rapporterer en fejl?
en ugyldig token