2020-03-12
PostgreSQL用高速日本語全文検索モジュールPGroonga（ぴーじーるんが） 2.2.5リリース
PostgreSQLで高速日本語全文検索をできるようにするPGroongaの2.2.5をリリースしました！
新規ユーザーの方は、PGroonga 2.0.2のリリースアナウンスのPGroongaについても参照してください。
注意
PGroonga 2.2.3 と 2.2.4 には以下の問題があるため、これらのバージョンは使用しないでください。
-
PGroonga 2.2.3
- このバージョンは、Debian向け、Ubuntu向けのパッケージが依存関係の解決に失敗しインストールできない問題があります。
-
PGroonga 2.2.4
- このバージョンは、
ALTER EXTENSION pgroonga UPDATE; を使用したアップグレードに失敗します。
ハイライト
PGroonga 2.2.5の主な変更点は以下の通りです。
(2.2.3, 2.2.4で入った変更点も合わせて記載しています。)
-
同一のトランザクション内で CREATE TABLE と CREATE INDEX と TRUNCATE を実行できるようにしました。
-
PGroongaのインデックスを使用した検索が選択されやすくなるように、PGroongaの検索コストの見積もりを調整しました。
- 具体的には、同一のレコードに同じトークンが大量に含まれているケースで、PGroongaのインデックスが選択されるようになります。
-
PGroonga 2.2.4へのアップグレードが失敗する問題を修正しました。
-
PGroongaのjsonb用のインデックスだけがある状態で、検索条件のないSQLを実行すると、エラーになる問題を修正しました。
-
PGroongaが使用するGroongaのライブラリ( libgroonga )のバージョンが10.0.0以降の場合、シーケンシャルスキャンでの検索がエラーになる問題を修正しました。
同一のトランザクション内で CREATE TABLE と CREATE INDEX と TRUNCATE を実行できるようにしました。
以前のバージョンでは、同一のトランザクション内でPGroongaのインデックスを作成し、 TRUNCATE すると TRUNCATE が失敗します。
例えば、以下のケースの場合に TRUNCATE が失敗します。
BEGIN TRANSACTION;
CREATE EXTENSION IF NOT EXISTS pgroonga;
CREATE TABLE test (
id SERIAL PRIMARY KEY,
content text
);
CREATE INDEX test_id ON test USING pgroonga (content);
TRUNCATE TABLE test CASCADE;
COMMIT;
PGroongaのjsonb用のインデックスだけがある状態で、検索条件のないSQLを実行すると、エラーになる問題を修正しました。
以前のバージョンでは、例えば、以下のケースの場合に SELECT COUNT(*) が失敗します。
CREATE TABLE logs (
record jsonb
);
CREATE INDEX pgroonga_index ON logs
USING pgroonga (record pgroonga_jsonb_ops_v2);
INSERT INTO logs VALUES ('{}');
SET enable_seqscan = off;
SELECT count(*) FROM logs;
PGroongaが使用するGroongaのライブラリ( libgroonga )のバージョンが10.0.0以降の場合、シーケンシャルスキャンでの検索がエラーになる問題を修正しました。
この問題は、PGroongaのパッケージをインストールしている場合は発生しません。GroongaとPGroongaをソースからビルドしてインストールしている場合にのみ発生します。
例えば、以前のバージョンでは、以下のケースの場合に SELECT が失敗します。
CREATE TABLE memos (
content varchar(256)
);
INSERT INTO memos VALUES ('りんご');
INSERT INTO memos VALUES ('リンゴ');
CREATE INDEX pgrn_index ON memos
USING pgroonga (content pgroonga_varchar_full_text_search_ops_v2);
SET enable_seqscan = on;
SET enable_indexscan = off;
SET enable_bitmapscan = off;
SELECT content, pgroonga_score(tableoid, ctid)
FROM memos
WHERE content &@~'りんご';
また、libgroonga のバージョンは以下のクエリーで確認できます。
SHOW pgroonga.libgroonga_version;
pgroonga.libgroonga_version
-----------------------------
10.0.0
(1 row)
まとめ
PostgreSQLで高速に日本語全文検索をしたいという方はPGroongaを使ってガンガン検索してください！
2020-01-29
Groonga 9.1.2リリース
Groonga 9.1.2をリリースしました！
それぞれの環境毎のインストール方法: インストール
変更内容
主な変更点は以下の通りです。
-
[tools] 指定したテーブルまたはカラムのファイルのみをコピーするスクリプトを追加しました。
- このスクリプトの名前は、copy-related-files.rbです。
- このスクリプトは非常に大きいデータベースから指定したテーブルまたはカラムを抽出したい場合に便利です。
- 特定のテーブルまたはカラムに関連するファイルは、障害の再現に必要なことがあります。
- データベースをまるごと提供するのが難しい場合は、このツールを使って対象のテーブルまたはカラムに関連するファイルを抽出できます。
- このツールは以下のように使います。
copy-related-files.rb \
--destination=db.copy \
--target=column.index \
db
--destination でコピー先のディレクトリを指定します。--target でコピーされるテーブルまたは、カラムを指定します。
- このオプションを複数指定することで、複数のテーブルまたは、カラムをコピーできます。
-
shutdown 全てのスレッドが使われている場合でも、 /d/shutdown?mode=immediate を即時受け付けるようにしました。
- この機能はGroonga HTTPサーバでのみ使えます。
-
GRN_ENABLE_REFERENCE_COUNT=yes とすると、使用していないオブジェクトをすぐに開放するようになります。
- この機能は実験的です。パフォーマンスが落ちます。
- 多くのテーブルにまたがるデータをロードする際等にメモリーの使用量を一定量に保つ効果が期待できます。
さいごに
9.1.1からの詳細な変更点は9.1.2リリース 2020-01-29を確認してください。
それでは、Groongaでガンガン検索してください！
2020-01-07
Groonga 9.1.1リリース
Groonga 9.1.1をリリースしました！
それぞれの環境毎のインストール方法: インストール
変更内容
主な変更点は以下の通りです。
-
load Apache Arrow 形式のデータをサポートしました。
- Apache Arrow形式のデータを使うことで、パースのコストを削減でき、他のフォーマットより高速にデータをロードできる可能性があります。
- この変更によって、他のデータ分析システムからApache Arrow形式のデータを直接Groongaへ入力することもできます。
- Apache Arrow形式のフォーマットはHTTPインターフェイスでのみ使えます。コマンドラインインターフェイスでは使えません。
-
load エラーメッセージを改善しました。
load コマンドのレスポンスにエラーメッセージも含むようにしました。- この変更によって、データのロードに失敗した場合、以下のように
load コマンドのエラーの詳細を出力します。
table_create Memos TABLE_NO_KEY
[[0,0.0,0.0],true]
column_create Memos content COLUMN_SCALAR Text
[[0,0.0,0.0],true]
load --table Memos
[
{"content": "Groonga is fast"}
]
[[0,0.0,0.0],1]
load --table Memos
[
{"_id": "invalid", "content": "Mroonga is fast"}
]
[[[-22,0.0,0.0],"<_id>: failed to cast to <UInt32>: <\"invalid\">"],0]
- 複数のエラーメッセージを出力したい場合は、以下のように
command_version 3 の output_errors オプションを使用してください。
table_create Memos TABLE_NO_KEY
[[0,0.0,0.0],true]
column_create Memos content COLUMN_SCALAR Text
[[0,0.0,0.0],true]
load --table Memos --command_version 3 --output_errors yes
[
{"_id": "invalid", "content": "Groonga is fast"},
{"_id": "invalid", "content": "Mroonga is fast"}
]
{
"header":{
"return_code":-22,
"start_time":1576717803.408522,
"elapsed_time":0.8798723220825195,
"error":{
"message":"<_id>: failed to cast to <UInt32>: <\"invalid\">",
"function":"parse_id_value",
"file":"load.c","line":394
}
},
"body":{
"n_loaded_records":0,
"errors":[
{
"return_code":-22,
"message":"<_id>: failed to cast to <UInt32>: <\"invalid\">"
},
{
"return_code":-22,
"message":"<_id>: failed to cast to <UInt32>: <\"invalid\">"
}
]
}
}
-
[httpd] バンドルしているnginxのバージョンを1.17.7に更新しました。
-
Groonga HTTPサーバー HTTPリクエストのbodyにコマンドのパラメータを指定できるようにしました。
- この場合、
Content-Type に application/x-www-form-urlencoded を指定しなければいけません。
- HTTP POSTリクエストを使うことで、以下のように複数のパラメータをHTTPリクエストのボディに指定できます。
POST /d/status HTTP/1.1
Host: 127.0.0.1:10041
Content-Length: 35
Content-Type: application/x-www-form-urlencoded
command_version=3&output_pretty=yes
さいごに
9.1.0からの詳細な変更点は9.1.1リリース 2020-01-07を確認してください。
それでは、Groongaでガンガン検索してください！
2019-11-29
Groonga 9.1.0リリース
Groonga 9.1.0をリリースしました！
それぞれの環境毎のインストール方法: インストール
変更内容
主な変更点は以下の通りです。
-
"&&" 演算のパフォーマンスを改善しました。
-
例えば、以下のような条件式のパフォーマンスが向上します。
-
( A || B ) && ( C || D ) && ( E || F) ...
-
この最適化は、ヒットするレコードが多い条件とヒットするレコードが少ない条件が混在している時に特に効果があります。
-
TokenMecab 新しい
オプション use_base_form を追加しました。.
-
インデックスがアクセサのときにパフォーマンスが低下する問題を修正しました。
-
バッファーが十分に大きい時に、検索結果の推定サイズがオーバーフローする問題を修正しました。
-
不足しているツールを追加しました。
- 前のバージョンに
index-column-diff-all.sh と object-inspect-all.sh がバンドルされていなかったためです。
さいごに
9.0.9からの詳細な変更点は9.1.0リリース 2019-11-29を確認してください。
それでは、Groongaでガンガン検索してください！
2019-10-30
Groonga 9.0.9リリース
Groonga 9.0.9をリリースしました！
それぞれの環境毎のインストール方法: インストール
お知らせ
今回のバージョンからパフォーマンスが低下しているかもしれません。もし、以前よりパフォーマンスが低下していたら、是非、再現手順を報告してほしいです。
変更内容
主な変更点は以下の通りです。
-
log クエリーログにレスポンスの送信時間も出力するよう改善しました。
-
status status コマンドのレスポンスに現在のジョブ数を追加しました。
-
groonga-httpd $request_time をサポートしました。
- 以前のバージョンでは、
log_format ディレクティブに $request_time を指定しても、$request_time の値は常に0でした。
- 今回のバージョンから、
$request_time を指定した場合、 groonga-httpd は正しい時間を出力します。
-
groonga-httpd $request_time の設定方法をドキュメントに追加しました。
-
Ubuntu 19.10(Eoan Ermine)をサポートしました。
-
CentOS 8をサポートしました。(実験的)
- CentOS 8向けのパッケージは開発用のパッケージが不足しているため、一部の機能が使えません。(例えば、
TokenMecab が使えなかったり、JSON文字列からint32のベクターへのキャストが出来なかったりします。)
-
[tools] index_column_diff コマンドを簡単に実行するスクリプトを追加しました。
- このスクリプトの名前は、index-column-diff-all.shです。
- このスクリプトは、Groongaのデータベースからインデックスカラムを抽出し、抽出したインデックスカラムに対して
index_column_diff を実行します。
-
[tools] object_inspect コマンドを全てのオブジェクトに対して実行するスクリプトを追加しました。
- このスクリプトの名前は、object-inspect-all.shです。
-
between の最初の引数として値を指定すると、Groongaがクラッシュする問題を修正しました。
between の最初の引数として値を指定すると、Groongaがクラッシュする問題を修正しました。
以下のようなケースでGroongaがクラッシュしていました。
table_create Users TABLE_HASH_KEY ShortText
# [[0, 1337566253.89858, 0.000355720520019531], true]
column_create Users age COLUMN_SCALAR Int32
# [[0, 1337566253.89858, 0.000355720520019531], true]
table_create Ages TABLE_HASH_KEY Int32
# [[0, 1337566253.89858, 0.000355720520019531], true]
column_create Ages user_age COLUMN_INDEX Users age
# [[0, 1337566253.89858, 0.000355720520019531], true]
load --table Users
[
{"_key": "Alice", "age": 12},
{"_key": "Bob", "age": 13},
{"_key": "Calros", "age": 15},
{"_key": "Dave", "age": 16},
{"_key": "Eric", "age": 20},
{"_key": "Frank", "age": 21}
]
# [[0, 1337566253.89858, 0.000355720520019531], 6]
select Users --filter 'between(14, 13, "include", 16, "include")'
さいごに
9.0.8からの詳細な変更点は9.0.9リリース 2019-10-30を確認してください。
それでは、Groongaでガンガン検索してください！
