Rujuk kana petikan di handap ieu, tuluy ngajawab pananya saterusna dina basa nu sarua jeung petikan:  Passage: Token sering diartikeun ku ungkapan biasa, anu dipikaharti ku generator analizer leksikal sapertos lex. Analis leksikal (dihasilkeun sacara otomatis ku pakakas kawas lex, atawa dijieun ku leungeun) maca dina aliran karakter, ngaidentipikasi leksem dina aliran, sarta ngagolongkeun kana token. Ieu disebut tokenizing. Lamun lexer manggih token anu teu valid, éta bakal ngalaporkeun kasalahan.  Patarosan: Naon bakal manggihan lamun ngalaporkeun kasalahan?
token anu teu valid