BloGroonga

2013-01-08

去年最後の肉の日である12/29に、ログ収集ツール fluentd を使って、groongaデータベースのレプリケーションを行うライブラリfluent-plugin-groonga 1.0.1をリリースしました。 しかし、blogroongaでは今までこのfluent-plugin-groongaについて説明していませんでした。 そこで、この記事ではfluent-plugin-groongaについて説明します。

fluent-plugin-groongaとは

fluent-plugin-groongaはfluentdのプラグイン集で、Rubyで実装されています。 通常、fluentdはログの収集に使いますが、fluent-plugin-groongaではgroongaのクエリを複数のgroongaサーバーに転送するために使っています。つまり、fluentdのメッセージルーティング機能だけを使ってレプリケーションに対応したgroongaシステムを構築します。

通常、groongaサーバーにアクセスするときは、groongaクライアントもしくはHTTPクライアントとgroongaサーバー同士が1対1で通信します。 fluent-plugin-groongaは、このクライアントとgroongaサーバーの間に入り、クライアントからのクエリーを複数のgroongaサーバーに送信することができます。groongaサーバーだけでなく、他のfluentdに送信することもできます。この機能を使ってレプリケーションを実装することができます。

レプリケーション実装のために、fluent-plugin-groongaは同じgroongaという名前でinputプラグインとoutputプラグインという2つのプラグインを提供しています。それでは、それぞれのプラグインについて説明します。

inputプラグイン

inputプラグインは、本来groongaサーバーに送られるgroongaコマンドを受け取ります。groongaコマンドを受け取ったinputプラグインは、受け取ったgroongaのコマンドを0個以上のfluentdを経由し、後述するoutputプラグインに送ります。0個の場合は直接outputプラグインに送ります。 inputプラグインは、groongaコマンドを受け取るときのインターフェイスとしてHTTPとgroonga独自プロトコルである GQTP の2つを提供します。つまり、inputプラグインにはgroongaサーバーと互換性のあるインターフェイスを用いてgroongaコマンドを送信することができます。このように、互換性のあるインタフェースを提供することで、inputプラグインをgroongaサーバーと同じように使うことができます。

outputプラグイン

outputプラグインは受け取ったgroongaコマンドをgroongaサーバーに送ります。outputプラグインはHTTP、GQTP、コマンドとすべてのインターフェイスをサポートしています。inputプラグインで受け取ったgroongaコマンドのインタフェースに合わせる必要はありません。また、このとき送信するデータは copy output plugin (英語)で複製することもできます。

インストール

Rubyのgemとしてfluent-plugin-groongaを提供しています。 そのため、インストールは次のコマンドを実行するだけで完了します。

% gem install fluent-plugin-groonga

また、fluent-plugin-groongaもgroongaや関連プロダクトと同じく、 GitHubにてソースコードが公開 されています。

ドキュメント

fluent-plugin-groongaのドキュメント には、 具体的なレプリケーションの構成の仕方設定の仕方 が掲載されています。(なお、すべて日本語で書かれています。) このドキュメントを参考に実際にレプリケーションを試してみてください! なお、問題の報告や必要な機能の提案については、groongaのメーリングリスト groonga-dev やGitHubでのpull requestで受け付けています。何かありましたらこちらもご活用ください!