7.3.68. tokenizer_list

7.3.68.1. 概要

tokenizer_list コマンドはデータベースに登録されているトークナイザーの一覧を返します。

7.3.68.2. 構文

このコマンドに引数はありません:

tokenizer_list

7.3.68.3. 使い方

以下は簡単な使用例です。

実行例:

tokenizer_list
# [
#   [
#     0,
#     1337566253.89858,
#     0.000355720520019531
#   ],
#   [
#     {
#       "name": "TokenDelimit"
#     },
#     {
#       "name": "TokenUnigram"
#     },
#     {
#       "name": "TokenBigram"
#     },
#     {
#       "name": "TokenTrigram"
#     },
#     {
#       "name": "TokenBigramSplitSymbol"
#     },
#     {
#       "name": "TokenBigramSplitSymbolAlpha"
#     },
#     {
#       "name": "TokenBigramSplitSymbolAlphaDigit"
#     },
#     {
#       "name": "TokenBigramIgnoreBlank"
#     },
#     {
#       "name": "TokenBigramIgnoreBlankSplitSymbol"
#     },
#     {
#       "name": "TokenBigramIgnoreBlankSplitSymbolAlpha"
#     },
#     {
#       "name": "TokenBigramIgnoreBlankSplitSymbolAlphaDigit"
#     },
#     {
#       "name": "TokenDelimitNull"
#     },
#     {
#       "name": "TokenRegexp"
#     }
#   ]
# ]

データベースに登録されているトークナイザーの一覧を返します。

7.3.68.4. 戻り値

tokenizer_list コマンドはトークナイザーの一覧を返します。各トークナイザーは属性を持っています。例えば名前です。将来、属性は増えるかもしれません。:

[HEADER, tokenizers]

HEADER

HEADER については 出力形式 を参照してください。

tokenizers

tokenizers はトークナイザーの配列です。トークナイザーは次の属性を持つオブジェクトです。

名前

説明

name

トークナイザー名。