7.3.70. tokenizer_list#
7.3.70.1. 概要#
tokenizer_list コマンドはデータベースに登録されているトークナイザーの一覧を返します。
7.3.70.2. 構文#
このコマンドに引数はありません:
tokenizer_list
7.3.70.3. 使い方#
以下は簡単な使用例です。
実行例:
tokenizer_list
# [
# [
# 0,
# 1337566253.89858,
# 0.000355720520019531
# ],
# [
# {
# "name": "TokenMecab"
# },
# {
# "name": "TokenDelimit"
# },
# {
# "name": "TokenUnigram"
# },
# {
# "name": "TokenBigram"
# },
# {
# "name": "TokenTrigram"
# },
# {
# "name": "TokenBigramSplitSymbol"
# },
# {
# "name": "TokenBigramSplitSymbolAlpha"
# },
# {
# "name": "TokenBigramSplitSymbolAlphaDigit"
# },
# {
# "name": "TokenBigramIgnoreBlank"
# },
# {
# "name": "TokenBigramIgnoreBlankSplitSymbol"
# },
# {
# "name": "TokenBigramIgnoreBlankSplitSymbolAlpha"
# },
# {
# "name": "TokenBigramIgnoreBlankSplitSymbolAlphaDigit"
# },
# {
# "name": "TokenDelimitNull"
# },
# {
# "name": "TokenRegexp"
# },
# {
# "name": "TokenNgram"
# },
# {
# "name": "TokenPattern"
# },
# {
# "name": "TokenTable"
# },
# {
# "name": "TokenDocumentVectorTFIDF"
# },
# {
# "name": "TokenDocumentVectorBM25"
# }
# ]
# ]
データベースに登録されているトークナイザーの一覧を返します。
7.3.70.4. 戻り値#
tokenizer_list コマンドはトークナイザーの一覧を返します。各トークナイザーは属性を持っています。例えば名前です。将来、属性は増えるかもしれません。:
[HEADER, tokenizers]
HEADER
HEADERについては 出力形式 を参照してください。
tokenizers
tokenizersはトークナイザーの配列です。トークナイザーは次の属性を持つオブジェクトです。
名前
説明
nameトークナイザー名。