2020-12-29
Groonga 10.1.0リリース
Groonga 10.1.0をリリースしました!
それぞれの環境毎のインストール方法: インストール
変更内容
主な変更点は以下の通りです。
-
highlight_html 全角スペースをハイライト対処から除外しました。
-
status 新しい項目 features
を追加しました。
-
status 新しい項目 apache_arrow
を追加しました。
-
ウインドウ関数 対象のテーブルがシャードをまたいでいる場合でも、全てのテーブルを一度に処理するようにしました。(実験的)
-
参照カラムに対する検索でシーケンシャルサーチをサポートしました。
-
[tokenizers] TokenDocumentVectorTFIDF
と TokenDocumentVectorBM25
でトークンカラムをサポートしました。
-
以下のケースのパフォーマンスを改善しました。
(column @ "value") && (column @ "value")
-
Ubuntu Ubuntu 20.10 (Groovy Gorilla)をサポートしました。
-
Debian stretchのサポートをやめました。
-
CentOS CentOS 6のサポートをやめました。
-
[httpd] バンドルしているnginxのバージョンを1.19.6に更新しました。
-
複数のドリルダウンのキーと複数のアクセサーを使用した時にGroongaがクラッシュする問題を修正しました。
-
同じフレーズが複数回出現すると、近傍フレーズ検索がマッチしない問題を修正しました。
さいごに
詳細については、以下のお知らせも参照してください。
お知らせ 10.1.0リリース
それでは、Groongaでガンガン検索してください!
2020-12-01
Groonga 10.0.9リリース
Groonga 10.0.9をリリースしました!
それぞれの環境毎のインストール方法: インストール
変更内容
主な変更点は以下の通りです。
-
select limit
に -1
を指定した時のパフォーマンスを改善しました。
-
reference_acquire 新しいオプション --auto_release_count
を追加しました。
-
Groongaが空の vector
や uvector
を評価した時の動作を変更しました。
- このリリースから、空の
vector
と uvector
はcommand version 3では、 false
と評価されます。
-
ノーマライザー Unicode 13.0 の NFKC(Normalization Form Compatibility Composition)をベースにしたノーマライザー NormalizerNFKC130
を追加しました。
-
トークンフィルター Unicode 13.0 の NFKC(Normalization Form Compatibility Composition)をベースにしたトークンフィルター NormalizerNFKC130
を追加しました。
-
select "_score = column - X" のパフォーマンスを改善しました。
-
reference_acquire --recursive dependent
オプションを指定した時に必要のないインデックスカラムへの参照を取得しないように改善しました。
-
select 順序限定の近傍フレーズ検索をサポートしました。
-
Groonga HTTPサーバー Groonga HTTP server が全てのワーカースレッドの完全な終了を待たずに終了していた問題を修正しました。
-
[httpd] バンドルしているnginxのバージョンを1.19.5に更新しました。
さいごに
詳細については、以下のお知らせも参照してください。
お知らせ 10.0.9リリース
それでは、Groongaでガンガン検索してください!
2020-11-10
PostgreSQL用高速日本語全文検索モジュールPGroonga(ぴーじーるんが) 2.2.7リリース
PostgreSQLで高速日本語全文検索をできるようにするPGroongaの2.2.7をリリースしました!
新規ユーザーの方は、PGroonga 2.0.2のリリースアナウンスのPGroongaについても参照してください。
ハイライト
PGroonga 2.2.7の主な変更点は以下の通りです。
-
PostgreSQL 13 向けのパッケージを提供しました。
- 前のバージョンから、すでにPostgreSQL 13 をサポートしていましたが、PostgreSQL 13 向けのパッケージは提供していませんでした。
- 今回のリリースから、PostgreSQL 13 向けのパッケージの提供を開始しました。
-
[Windows] バンドルしているGroongaを10.0.8にアップグレードしました。
-
[Ubuntu], [Debian] WALのサポートが無効になっていた問題を修正しました。
-
WALを書き込んだ時にPGroongaがクラッシュする可能性がある問題を修正しました。
pgroonga.enable_wal
を有効にしている環境でのみ発生します。
おしらせ
セッション
2020年11月13日(金)にPostgreSQL Conference Japan 2020でPGroonga 運用技法 ~PGroonga の WAL を放置していませんか?~というセッションがあります。
このセッションは、PGroongaのWALを既に使っている人、または、これから使おうと考えている人向けの内容になっています。
まとめ
PostgreSQLで高速に日本語全文検索をしたいという方はPGroongaを使ってガンガン検索してください!
2020-10-29
Groonga 10.0.8リリース
Groonga 10.0.8をリリースしました!
それぞれの環境毎のインストール方法: インストール
変更内容
主な変更点は以下の通りです。
-
select 大きいサイズのドリルダウンのキーを使えるようになりました。
-
select 異なるテーブルを参照しているカラムを同じ動的カラムで扱えるようにしました。
-
select 検索結果のレコード数が非常に多い場合のパフォーマンスを改善しました。
-
バンドルしているLZ4を1.8.2から1.9.2に更新しました。
-
xxHash 0.8 をサポートしました。
-
[httpd] バンドルしているnginxのバージョンを1.19.4に更新しました。
-
ブラウザーベースの管理ツール関連の問題を修正しました。
-
between between(_key, …) が常にシーケンシャルサーチで評価される問題を修正しました。
さいごに
詳細については、以下のお知らせも参照してください。
お知らせ 10.0.8リリース
それでは、Groongaでガンガン検索してください!
2020-09-29
Groonga 10.0.7リリース
Groonga 10.0.7をリリースしました!
それぞれの環境毎のインストール方法: インストール
変更内容
主な変更点は以下の通りです。
[highlight], highlight_full ノーマライザーにオプションを指定できるようになりました
highlight()
と highlight_full()
にノーマライザーのオプションを指定できるようになりました。
-
設定可能なオプションについては、以下を参照してください。
- https://groonga.org/ja/docs/reference/normalizers/normalizer_nfkc100.html#parameters
-
例えば、 unify_hyphen
を使ってコードポイントの異なるハイフンを同一視できます。
table_create Entries TABLE_NO_KEY
column_create Entries body COLUMN_SCALAR ShortText
load --table Entries
[
{"body": "full-text-search. Use U+002D HYPHEN-MINUS"},
{"body": "full֊text֊search. Use U+058A ARMENIAN HYPHEN"},
{"body": "full˗text˗search. Use U+02D7 MODIFIER LETTER MINUS SIGN"}
]
select Entries --output_columns \
'highlight_full(body, \
"NormalizerNFKC121(\\"unify_hyphen\\", true)", \
true, \
"full-text-search", \
"<span class=\\"keyword1\\">", \
"</span>")' --output-pretty yes
[
[
0,
0.0,
0.0
],
[
[
[
3
],
[
[
"highlight_full",
null
]
],
[
"<span class=\"keyword1\">full-text-search</span>. Use U+002D HYPHEN-MINUS"
],
[
"<span class=\"keyword1\">full֊text֊search</span>. Use U+058A ARMENIAN HYPHEN"
],
[
"<span class=\"keyword1\">full˗text˗search</span>. Use U+02D7 MODIFIER LETTER MINUS SIGN"
]
]
]
]
-
unify_hyphen
オプションを指定しない場合、 以下のように {"body": "full-text-search. Use U+002D HYPHEN-MINUS"}
のみハイライトされます。
- その他のレコードは、検索キーワードに含まれるハイフンとコードポイントが異なるためです。
select Entries --output_columns \
'highlight_full(body, \
"NormalizerNFKC121()", \
true, \
"full-text-search", \
"<span class=\\"keyword1\\">", \
"</span>")'
[
[
0,
0.0,
0.0
],
[
[
[
3
],
[
[
"highlight_full",
null
]
],
[
"<span class=\"keyword1\">full-text-search</span>. Use U+002D HYPHEN-MINUS"
],
[
"full֊text֊search. Use U+058A ARMENIAN HYPHEN"
],
[
"full˗text˗search. Use U+02D7 MODIFIER LETTER MINUS SIGN"
]
]
]
]
-
このオプションによって指定したテーブルまたは、カラムを任意のパスに格納できます。
-
このオプションは、高速なストレージ(SSDなど)によく使うテーブルやカラムを格納し、低速なストレージ(HDDなど)にあまり使わないテーブルやカラムを格納したいときに有用です。
-
このオプションは、相対パス、絶対パスの両方が指定できます。
- 相対パスを指定した場合は、
groonga
プロセスのパスを起点に指定したパスが解決されます。
-
--path
を指定した場合、 dump
コマンドの結果に --path
の情報が含まれます。
- したがって、
--path
を指定した場合、 異なる環境のホストではリストアできなくなります。
--path
の情報を dump
に含みたくない場合は、 dump
コマンド実行時に --dump_paths no
を指定する必要があります。
dump 新しいオプション --dump_paths
を追加しました。
select 同一センテンス内での、近傍検索をサポートしました。
マルチカラムインデックス関連の問題を修正しました。
_score
が壊れることがあります。
-
ヒットしないはずのレコードがヒットすることがあります。
-
例えば、以下のクエリを実行するとこの問題が発生します。
select TABLE \
--match_columns 'LEXICON.INDEX[10]' \
--query 'XXX' \
--output_columns _score
-
ただ、以下のクエリーでは、この問題は発生しません。未初期化の領域が発生しないためです。
select TABLE \
--match_columns 'LEXICON.INDEX[0]' \
--query 'XXX' \
--output_columns _score
-
つまり、以下のような場合にこの問題が発生します。
-
以下の条件ではこの問題は発生しません。未初期化の領域が発生しないためです。
さいごに
それでは、Groongaでガンガン検索してください!