Tirohia te wāhanga i raro nei, kātahi ka whakautu i te pātai i muri mai i te reo kotahi me te wāhanga:  Passage: Ko nga tohu e tautuhia ana i nga wa katoa e nga kupu auau, e mohiotia ana e te kaihanga taatai taatai penei i te lex. Ko te kaitohutohu kupu (i hangaia aunoa e tetahi taputapu penei i te lex, i hangaia-a-ringa ranei) ka panui i roto i te awa o nga tohu, ka tautuhi i nga lexemes i roto i te awa, ka whakariterite i a raatau ki nga tohu. Ka kīia tēnei ko te tokenize. Mēnā ka kitea e te kaiwhakamahara he tohu kāore i te tika, ka pūrongo i tētahi hapa.  Pātai: He aha ka kitea mēnā ka pūrongo i tētahi hapa?
he tohu kore