• Главная
• TextAnalysis
• Tokenizers

PHP TextAnalysis\Tokenizers Пространство имен

Классы

Имя	Описание
PennTreeBankTokenizer	PennTreeBank Tokenizer Based on http://www.cis.upenn.edu/~treebank/tokenizer.sed
SentenceTokenizer	Tokenize on periods, question marks and exclamations
WhitespaceTokenizer	Description of WhitespaceTokenizer