Pariksa bagian di handap ieu, tuluy ngajawab patarosan saterusna dina basa nu sarua jeung bagian: Passage: Token mindeng dihartikeun ku ungkapan biasa, nu dipikaharti ku generator analizer leksikal saperti lex. Analis leksikal (dihasilkeun sacara otomatis ku alat saperti lex, atawa handcrafted) maca dina aliran karakter, ngaidentipikasi lexemes dina aliran, sarta categorizes kana tokens. Ieu disebut tokenizing. Lamun lexer manggih hiji token invalid, éta bakal ngalaporkeun kasalahan. Patarosan: Naon anu bakal manggihan lamun ngalaporkeun kasalahan?
token anu teu valid