7.8. トークナイザー¶
- 7.8.1. 概要
- 7.8.2.
TokenBigram - 7.8.3.
TokenBigramIgnoreBlank - 7.8.4.
TokenBigramIgnoreBlankSplitSymbol - 7.8.5.
TokenBigramIgnoreBlankSplitSymbolAlpha - 7.8.6.
TokenBigramIgnoreBlankSplitSymbolAlphaDigit - 7.8.7.
TokenBigramSplitSymbol - 7.8.8.
TokenBigramSplitSymbolAlpha - 7.8.9.
TokenBigramSplitSymbolAlphaDigit - 7.8.10.
TokenDelimit - 7.8.11.
TokenDelimitNull - 7.8.12.
TokenMecab - 7.8.13.
TokenNgram - 7.8.14.
TokenPattern - 7.8.15.
TokenRegexp - 7.8.16.
TokenTable - 7.8.17.
TokenTrigram - 7.8.18.
TokenUnigram