7.9.1. 概要

Groongaにはトークナイズされたトークンに所定の処理を行うトークンフィルターモジュールがあります。

トークンフィルターモジュールはプラグインとして追加できます。

トークンフィルタープラグインをGroongaに追加することでトークナイズされたトークンをカスタマイズできます。

テーブルは0個以上のトークンフィルターを持てます。テーブルにトークンフィルターを付けるには table_create の token_filters オプションを使います。

以下は TokenFilterStopWord トークンフィルターモジュールを使う table_create の例です。

実行例:

plugin_register token_filters/stop_word
# [[0,1337566253.89858,0.000355720520019531],true]
table_create Terms TABLE_PAT_KEY ShortText \
  --default_tokenizer TokenBigram \
  --normalizer NormalizerAuto \
  --token_filters TokenFilterStopWord
# [[0,1337566253.89858,0.000355720520019531],true]

7.9.1.1. 参考

• table_create