Ця стаття не містить посилань на джерела. (січень 2017) |
Токен — об'єкт, що утворюється із лексеми в процесі лексичного аналізу.
У прикладному програмуванні поняття токену та його лексема можуть не розрізнятися.
Шаблон токена — формальний опис класу лексем, які можуть утворити даний тип токена.
| тип токена | приклади лексем | опис |
|---|---|---|
| string | "Мова \"C\"" | рядкова стала |
| id | Name01 | ідентифікатор |
| relop | >= | операції відношення |
| num | 13 | число |
 | Це незавершена стаття про інформаційні технології. Ви можете допомогти проєкту, виправивши або дописавши її. |
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Cya stattya ne mistit posilan na dzherela Vi mozhete dopomogti polipshiti cyu stattyu dodavshi posilannya na nadijni avtoritetni dzherela Material bez dzherel mozhe buti piddano sumnivu ta vilucheno sichen 2017 Token ob yekt sho utvoryuyetsya iz leksemi v procesi leksichnogo analizu U prikladnomu programuvanni ponyattya tokenu ta jogo leksema mozhut ne rozriznyatisya Shablon tokena formalnij opis klasu leksem yaki mozhut utvoriti danij tip tokena Prikladi tip tokena prikladi leksem opisstring Mova C ryadkova stalaid Name01 identifikatorrelop gt operaciyi vidnoshennyanum 13 chislo Ce nezavershena stattya pro informacijni tehnologiyi Vi mozhete dopomogti proyektu vipravivshi abo dopisavshi yiyi
