7.23. 言語モデル#
Added in version 14.1.0.
注釈
これは実験的な機能です。現時点ではまだ安定しきっていません。
7.23.1. 概要#
言語モデルは全文検索でも有用です。Groongaは言語モデルを統合しています。
Groongaはローカルの言語モデルを使います。将来的にはローカルの言語モデルを管理するツールを提供する予定ですが、現時点ではまだ存在していません。現時点では、手動で言語モデルをダウンロードする必要があります。
この機能は内部でllama.cppを使っています。GGUFフォーマットの言語モデルだけを使うことができます。llama.cppのREADMEにある「supported models」セクションも参照してください。
7.23.2. 言語モデルの管理方法#
GGUFフォーマットの言語モデルと${PREFIX}/share/groonga/language_models/に配置する必要があります。
例：/usr/local/share/groonga/language_models/mistral-7b-v0.1.Q4_K_M.gguf
GGUFフォーマットの言語モデルはHugging Faceからダウンロードできます。いくつかの言語モデルは公式のGGUFフォーマットの言語モデルも提供しています。しかし、多くの言語モデルはGGUFフォーマットの言語モデルを提供していません。
GGUF-my-repoを使うことで、Hugging Face上で既存の言語モデルをGGUFフォーマットに変換できます。