Ctrl+K

7.11. スコアラー#

7.11.1. 概要#

Groongaにはスコアー関数をカスタマイズするスコアーモジュールがあります。スコアー関数はマッチしたレコードのスコアーを計算します。デフォルトのスコアー関数は出現単語数をスコアーにします。これはTF（term frequency。単語の出現数）と呼ばれている計算方法です。

TFは高速なスコアー関数ですが、次のケースには適していません。

  • 検索クエリーが「the」や「a」のように非常によく出現する単語を含んでいる。

  • 文書中に「They are keyword, keyword, keyword ... and keyword」というように同じキーワードが大量に含まれている。検索エンジンのスパマーはこのテクニックを使うかもしれません。

スコアー関数でこれらのケースを解決できます。例えば、 TF-IDF （term frequency-inverse document frequency。その文書中での単語の出現数を、文書全体での単語の出現数で割ったもの）は最初のケースを解決できます。 Okapi BM25 は2番目のケースを解決できます。しかし、これらはTFより遅いです。

Groongaは scorer_tf_idf としてTF-IDFベースのスコアラーを提供しています。しかし、Okapi BM25ベースのスコアラーはまだ提供していません。

スコアー関数だけでスコアの計算をする必要はありません。スコアー関数は検索クエリーに非常に依存しています。検索クエリーだけでなく、マッチしたレコードのメタデータも使えないか検討しましょう。

たとえば、Googleはスコアーの計算に ページランク を使っています。あなたも、データの種類（たとえば、「メモ」データよりも「タイトル」データの方が重要など）、タグ、位置情報などを使えないか検討してみましょう。

スコアーの計算をスコアー関数だけで考えることはやめましょう。

7.11.2. 使い方#

このセクションではスコアラーの使い方について説明します。

使い方を示すために使うスキーマ定義とサンプルデータは以下の通りです。

サンプルスキーマ:

実行例:

table_create Memos TABLE_HASH_KEY ShortText
# [[0,1337566253.89858,0.000355720520019531],true]
column_create Memos title COLUMN_SCALAR ShortText
# [[0,1337566253.89858,0.000355720520019531],true]
column_create Memos content COLUMN_SCALAR Text
# [[0,1337566253.89858,0.000355720520019531],true]
table_create Terms TABLE_PAT_KEY ShortText \
  --default_tokenizer TokenBigram \
  --normalizer NormalizerAuto
# [[0,1337566253.89858,0.000355720520019531],true]
column_create Terms title_index COLUMN_INDEX|WITH_POSITION Memos title
# [[0,1337566253.89858,0.000355720520019531],true]
column_create Terms content_index COLUMN_INDEX|WITH_POSITION Memos content
# [[0,1337566253.89858,0.000355720520019531],true]

サンプルデータ:

実行例:

load --table Memos
[
{
  "_key": "memo1",
  "title": "Groonga is easy",
  "content": "Groonga is very easy full text search engine!"
},
{
  "_key": "memo2",
  "title": "Mroonga is easy",
  "content": "Mroonga is more easier full text search engine!"
},
{
  "_key": "memo3",
  "title": "Rroonga is easy",
  "content": "Ruby is very helpful."
},
{
  "_key": "memo4",
  "title": "Groonga is fast",
  "content": "Groonga! Groonga! Groonga! Groonga is very fast!"
},
{
  "_key": "memo5",
  "title": "PGroonga is fast",
  "content": "PGroonga is very fast!"
},
{
  "_key": "memo6",
  "title": "PGroonga is useful",
  "content": "SQL is easy because many client libraries exist."
},
{
  "_key": "memo7",
  "title": "Mroonga is also useful",
  "content": "MySQL has replication feature. Mroonga can use it."
}
]
# [[0,1337566253.89858,0.000355720520019531],7]

match_columns の中でscore関数を使うことができます。次に構文を示します。

scorer_tf_idf のように、いくつかのスコアー関数には引数はありません。:

SCORE_FUNCTION(COLUMN)

重みを指定することができます。:

SCORE_FUNCTION(COLUMN) * WEIGHT

scorer_tf_at_most のように引数が必要なスコアー関数もあります。:

SCORE_FUNCTION(COLUMN, ARGUMENT1, ARGUMENT2, ...)

重みを指定することができます。:

SCORE_FUNCTION(COLUMN, ARGUMENT1, ARGUMENT2, ...) * WEIGHT

match_columns ではカラムごとに異なるスコア関数を使うことができます。:

SCORE_FUNCTION1(COLUMN1) ||
  SCORE_FUNCTION2(COLUMN2) * WEIGHT ||
  SCORE_FUNCTION3(COLUMN3, ARGUMENT1) ||
  ...

以下は簡単な使用例です。

実行例:

select Memos \
  --match_columns "scorer_tf_idf(content)" \
  --query "Groonga" \
  --output_columns "content, _score" \
  --sort_keys "-_score"
# [
#   [
#     0,
#     1337566253.89858,
#     0.000355720520019531
#   ],
#   [
#     [
#       [
#         2
#       ],
#       [
#         [
#           "content",
#           "Text"
#         ],
#         [
#           "_score",
#           "Int32"
#         ]
#       ],
#       [
#         "Groonga! Groonga! Groonga! Groonga is very fast!",
#         2
#       ],
#       [
#         "Groonga is very easy full text search engine!",
#         1
#       ]
#     ]
#   ]
# ]

Groonga! Groonga! Groonga! Groonga is very fast! には Groonga が4つ含まれています。デフォルトのTFベースのスコアラーを使うと、 _score は 4 です。しかし、実際は _score は 2 になります。なぜなら、この select コマンドはTF-IDFベースの scorer_tf_idf() スコアラーを使っているからです。

以下は重みを使った例です。

実行例:

select Memos \
  --match_columns "scorer_tf_idf(content) * 10" \
  --query "Groonga" \
  --output_columns "content, _score" \
  --sort_keys "-_score"
# [
#   [
#     0,
#     1337566253.89858,
#     0.000355720520019531
#   ],
#   [
#     [
#       [
#         2
#       ],
#       [
#         [
#           "content",
#           "Text"
#         ],
#         [
#           "_score",
#           "Int32"
#         ]
#       ],
#       [
#         "Groonga! Groonga! Groonga! Groonga is very fast!",
#         22
#       ],
#       [
#         "Groonga is very easy full text search engine!",
#         10
#       ]
#     ]
#   ]
# ]

Groonga! Groonga! Groonga! Groonga is very fast! の _score は 22 です。重みを指定していない前の例では _score は 2 でした。

以下は必ず引数を1つ指定しなければいけないスコアラーを使う例です。 scorer_tf_at_most スコアラーには引数を1つ指定しなければいけません。このスコアラーを使うと、TFのスコアーの最大値を制限することができます。

実行例:

select Memos \
  --match_columns "scorer_tf_at_most(content, 2.0)" \
  --query "Groonga" \
  --output_columns "content, _score" \
  --sort_keys "-_score"
# [
#   [
#     0,
#     1337566253.89858,
#     0.000355720520019531
#   ],
#   [
#     [
#       [
#         2
#       ],
#       [
#         [
#           "content",
#           "Text"
#         ],
#         [
#           "_score",
#           "Int32"
#         ]
#       ],
#       [
#         "Groonga! Groonga! Groonga! Groonga is very fast!",
#         2
#       ],
#       [
#         "Groonga is very easy full text search engine!",
#         1
#       ]
#     ]
#   ]
# ]

Groonga! Groonga! Groonga! Groonga is very fast! は Groonga を4つ含んでいます。もし、デフォルトのスコアラーである標準のTFベースのスコアラーを使っていた場合、 _score は 4 になります。しかし、実際の _score は 2 です。なぜなら、この select コマンドが使っているスコアラーは最大スコアーを 2 に制限しているからです。

以下は複数のスコアラーを使う例です。

実行例:

select Memos \
  --match_columns "scorer_tf_idf(title) || scorer_tf_at_most(content, 2.0)" \
  --query "Groonga" \
  --output_columns "title, content, _score" \
  --sort_keys "-_score"
# [
#   [
#     0,
#     1337566253.89858,
#     0.000355720520019531
#   ],
#   [
#     [
#       [
#         2
#       ],
#       [
#         [
#           "title",
#           "ShortText"
#         ],
#         [
#           "content",
#           "Text"
#         ],
#         [
#           "_score",
#           "Int32"
#         ]
#       ],
#       [
#         "Groonga is fast",
#         "Groonga! Groonga! Groonga! Groonga is very fast!",
#         3
#       ],
#       [
#         "Groonga is easy",
#         "Groonga is very easy full text search engine!",
#         2
#       ]
#     ]
#   ]
# ]

この --match_columns は scorer_tf_idf(title) と scorer_tf_at_most(content, 2.0) を使っています。 _score の値はこれら2つの値の合計になります。

同じ --match_columns の中でデフォルトのスコアラーとカスタムスコアラーを使うことができます。単にマッチ対象のカラムを指定するとデフォルトのスコアラーを使います。

実行例:

select Memos \
  --match_columns "title || scorer_tf_at_most(content, 2.0)" \
  --query "Groonga" \
  --output_columns "title, content, _score" \
  --sort_keys "-_score"
# [
#   [
#     0,
#     1337566253.89858,
#     0.000355720520019531
#   ],
#   [
#     [
#       [
#         2
#       ],
#       [
#         [
#           "title",
#           "ShortText"
#         ],
#         [
#           "content",
#           "Text"
#         ],
#         [
#           "_score",
#           "Int32"
#         ]
#       ],
#       [
#         "Groonga is fast",
#         "Groonga! Groonga! Groonga! Groonga is very fast!",
#         3
#       ],
#       [
#         "Groonga is easy",
#         "Groonga is very easy full text search engine!",
#         2
#       ]
#     ]
#   ]
# ]

この --match_columns は title にはデフォルトのスコアラー（TF）を使い、 content には scorer_tf_at_most を使います。 _score の値はこれらのスコアラーの結果の合計になります。

7.11.3. 組み込みスコアラー#

以下は組み込みのスコアラーです。

On this page