9150번 - Tokeny 다국어

Důležitou složkou přípravy na očekáváné demonstrace je pozorné sledování toho, co aktivisté chystají. V dnešní době již i odpůrci globalizace běžně používají globální Internet k tomu, aby proti globalizaci protestovali. Nepřekvapí, že i ostatní skupiny obyvatel, kteří svolávají veřejné shromáždění, často vytvářejí webovské stránky informující o chystaných aktivitách. Tento způsob je velmi výhodný k oslovení velkého počtu lidí, ale naštěstí zároveň také pomáhá Policii, aby si udělala předběžný obrázek o tom, co se chystá.

Bohužel je však na současném Internetu stránek velmi mnoho, a tak není snadné nalézt takové, na kterých jsou podobné akce svolávány. Proto bylo rozhodnuto, že se pro Policii vytvoří speciální program využívající nejnovější poznatky z oblasti umělé inteligence. Úkolem tohoto programu bude procházet internetové stránky a automaticky detekovat ,,podezřelé'' texty. Ty jsou potom nahlášeny policistům k přezkoumání. Základní činností programu je rozbor anglického textu a pokus o určení jeho přibližného obsahu. K tomu je nutná podrobná analýza textu, nejprve lexikální (na úrovni slov a symbolů), poté syntaktická (na úrovni vět). V tomto příkladě budeme uvažovat pouze první, lexikální část.

Jak jistě víte, lexikální analyzátor čte posloupnost znaků textu a vytváří posloupnost lexikálních elementů (tokenů). Když lexikální analyzátor přečte např. text abc+123, vytvoří (za předpokladu, že text je analyzován podle jazyka pro aritmetický výraz) tokeny [abc] [+] [123] .

Podívejme se nyní podrobněji na proces čtení znaků. Poté, co jsou přečteny znaky a, b a c, je rozhodnuto o tom, že se vytvoří token [abc] , na základě toho, že za nimi následuje znak +, protože znak + nemůže být součástí identifikátoru. O vytvoření tokenu tedy v tomto případě rozhoduje první znak dosud nepřečtené části textu. Naproti tomu po přečtení znaku + víme s jistotou, že token může být ihned vytvořen, protože znaky za ním už na jeho vytvoření nemají vliv. Tokeny se tedy liší podle toho, kolik znaků dosud nepřečtené části textu rozhoduje o tom, jak budou vytvořeny.