7.9.1. 概要#
Groongaにはトークナイズされたトークンに所定の処理を行うトークンフィルターモジュールがあります。
トークンフィルターモジュールはプラグインとして追加できます。
トークンフィルタープラグインをGroongaに追加することでトークナイズされたトークンをカスタマイズできます。
テーブルは0個以上のトークンフィルターを持てます。テーブルにトークンフィルターを付けるには table_create の token_filters オプションを使います。
以下は TokenFilterStopWord トークンフィルターモジュールを使う table_create の例です。
実行例:
plugin_register token_filters/stop_word
# [[0,1337566253.89858,0.000355720520019531],true]
table_create Terms TABLE_PAT_KEY ShortText \
--default_tokenizer TokenBigram \
--normalizer NormalizerAuto \
--token_filters TokenFilterStopWord
# [[0,1337566253.89858,0.000355720520019531],true]