不具合報告掲示板

不具合を発見したら、メーリングリストに報告をお願いいたします。

過去ログ

1157609184グニャラくん>>Utaさん\nこちらの環境でも切れています。\n不具合として認識しております。
1157605104Utaはじめまして。\n下記のようにshow indexしたときにIndex_typeが途中で切れてしまうのですが、私だけでしょうか\nmysql> show index from bsm;\n+-------+------------+------------+--------------+-------------+-----------+-------------+----------+--------+------+------------------+---------+\n Table Non_unique Key_name Seq_in_index Column_name Collation Cardinality Sub_part Packed Null Comment \n+-------+------------+------------+--------------+-------------+-----------+-------------+----------+--------+------+------------------+---------+\n bsm 1 pk 1 id A NULL NULL NULL BTREE \n bsm 1 body 1 body NULL NULL NULL NULL YES FULLTEXT,SENNA,N \n+-------+------------+------------+--------------+-------------+-----------+-------------+----------+--------+------+------------------+---------+\nNGRAM,mecab両タイプで試してみましたが同様でした。\nRev235+MySQL5.0.24a+mecab0.93\n(CentOS4.3)で使用しております。
1154709399グニャラくんおおお、本当ですね！ > -all-static\n嘘の情報で混乱させて申し訳なかったです。\nそして指摘ありがとうございます。\n\nGREEによるパッチによって、\nテーブルのインデックス情報を見るためのクエリが拡張されています。\nその影響で、MySQL adminやphpMyAdminではエラーが出ることがあると思います。\n（Shimamuraさんのケースがこれにあたるかどうかは確実ではないのですが）\n対処法については検討中です。\n\nsnippet関数のstatic化についても\n検討してみますね。\n\nSEGVについては、他にも報告があるようです。
1154694932Y.Shimamura原因わかりました(snippet)\nldには\n> mv libmysql_udf_snippet.so libmysql_udf_snippet.so.2\n> ln -s libmysql_udf_snippet.so.2 libmysql_udf_snippet.so\n> ldconfig -R\nでライブラリを通し、(これで通りました。)\n\nMySQLは\nhttp://dev.mysql.com/doc/refman/4.1/ja/adding-udf.html\nということで、\n--with-mysqld-ldflags=-all-static\nではなく\n--with-mysqld-ldflags=-rdynamic\nでコンパイルすると、CREATE FUNCTIONが通りました。\n\n/* 関数自体が便利なので、\nsnippet関数のパッチ for MySQLソースコード\nとかあったら便利だな。爆 */\n\nSIGSEGVについては未だ原因わかってませんが、一応報告+わがままをお伝えします。
1154685825Y.Shimamuraldconfig -m /usr/lib \nだめでした。。\n他のライブラリみたいに通し番号みたいなのをつけて\nlibmysql_udf_snippet.so.2<-こんなの\nsymlinkでやってみようかなって思います。\n\n8/3時点のlatestです。しかしながら、負荷をかけても落ちないときがあります。負荷をかける作業として、インデックスの張り直し等を行っていました。\n何かおかしいこと、といえば、\nmysqlユーザーの管理はphpMyAdminで行っているのですが、(楽なので)\n特権をいじるページに行くと、Got error 12 from table handlerとなってしまう時がありました。\nこれはどういうときに発生するのかがいまいちつかめてませんが‥
1154684905グニャラくんY.Shimamuraさん＞\n/usrでもダメですか。。\nldconfig -m /usr/lib\nも試してみてください。\n\n負荷が高くなると落ちる現象についてですが、\nどの日のパッケージを使っていますか？\nおそらくMLでのアドバイス後\nバージョンをあげられたと思うのですが。
1154681583Y.Shimamuraldconfig -Rでリスキャンしましたが、どうもldにマージされていないです。。/usrで作り直してみてもだめでした。\nそれと、負荷が高くなるとごく希にSegmentation Faultで落ちる現象を確認しました。\n@FreeBSD 6.0 MySQL 4.0.27 Senna(8/3) FULLTEXT INDEX USING SENNA, NO NORMALIZE, NGRAM\n\nデバッグしたログです。\nhttp://dj.2-d.jp/senna-segv.060804.log
1154661112グニャラくん--disable-sharedは問題ないと思います。\n\nrootで\n ldconfig -r grep snippet\nと実行してみてください。\nもし何も表示されないようであれば、\n ldconfig -R\nしてみて、表示されるようになれば利用できると思います。\n\nsnippet udfを\n./configure --prefix=/usr\nとして作り直す、という方法もあります。\n
1154605981Y.Shimamuraありがとうございます。\n/usr/libに移してみましたが、結果変わらず\nERROR 1126 at line 1: Can't open shared library 'libmysql_udf_snippet.so' (errno: 0 Service unavailable) \nでした。。\n\nもしかして、MySQLをコンパイルするときの--disable-sharedがいけなかったりしますか？
1154597081グニャラくんY.Shimamuraさん>\n/usr/local/libにlibmysql_udf_snippet.soがあると思います。\nmv /usr/local/lib/libmysql_udf_snippet.so /usr/lib\nで使えるようになると思います。
1154574440Y.Shimamura現状ではsnippet UDFは使用できないのでしょうか？。。\nFreeBSD 6.0 MySQL 4.0.27 Senna(8/3)\nbindings/mysql/udf/内でconfigure,make,installを行い、make loadをしましたが、\nERROR 1126 at line 1: Can't open shared library 'libmysql_udf_snippet.so' (errno: 0 Service unavailable)\nとなってしましました。\n\nMySQL側ではSennaがきちんと動いています。
1152779386グニャラくんここ数週間で\nwindowsでの不具合\nMacOSXでの不具合\nなどさまざまな不具合が修正されております。
1149591995グニャラくんenuiさん＞\nご利用ありがとうございます。\nrpmパッケージは欲しがっている人が多いと思うので、\nspecファイルやパッケージ本体等\n公開いただければありがたいです。\nその際はリンクさせていただきます。\n\nWikipedia検索は内部的に作ってみたのですが、\n公開に至っていません。
1149583169enuiCentOS 4.3 mysql-4.1.12.srcから、mysql.senna.2ind.mecab.rpmを作ってインストールして、\nWikipedia dump, \nOpen directory project RDF, \nなどを入れてみました。\nかなり軽快に検索できますね。\nGood job!
1149578580グニャラくんテオファビさん＞\nぜひぜひご利用を。\n\nMURAさん＞\nよかったです。\nまた何かあった場合は、\n報告していただければ幸いです。\n\nぴろさん＞\n出ちゃいました。\n
1149553457ぴろうおおお、2indパッチ4.1用でましたか～～\n待ち望んでおりました！ありがとうございます。
1149520230MURAグニャラくんさん\n\nすいません、時間が空いてしまったのですが、、\n以前に問い合わせさせていただいた, 3文字以下でのIN BOOLEAN MODEの動作ですが、MySQL 4.1.19のパッチで期待通りhitしていることを確認しました。\n\n環境は、Fedora Core 2 + MySQL4.1.19 + mecab0.91、\n試したパッチは\nhttp://tasuku.suenaga.name/pub/senna/mysql-4.1.19.senna.diff.alpha.tar.gz\nです。\n\n対応どうもありがとうございました。\n
1149500148テオファビグニャラくん さん (笑)、お返事ありがとうございます。\nですか！早速インストールします！
1149498188グニャラくんテオファビさん＞\nレスありがとうございます！\n今日リリースした4.1用の新しいパッチでは\nft_min_wordの設定は不要になっております。\nまた、2indパッチを利用することができるようになりました。\n\nぜひお試しください。
1149475132テオファビみのごんた さん、はじめまして\nsennaをありがたく使わさせていただいている１ユーザです。\n私も同じ現象が起こり解決しました。（関係なければご容赦ください。）\n１文字から 検索対象にしたい場合は my.cnfに以下のおまじないが必要かと思いますが、これは入っていますか？\nもしなければ設定後 テーブルをrepairすればヒットするようになるはずです。\n-----------------------\n[mysqld]\nft_min_word_len=1\n-----------------------\n
1149359719グニャラくんみのごんたさん＞\nはじめまして。\n\nMySQL 4.1用のパッチのみ現在古くなっていて、\n特にboolean modeにおいては動作が他のバージョン向けのパッチと異なっております。\n\nお手数ですが、\n以下のＵＲＬのパッチでお試しください。\nhttp://tasuku.suenaga.name/pub/senna/mysql-4.1.19.senna.diff.alpha.tar.gz\n(追記）すでにこのパッチは本家パッケージ取り込まれました。
1149333137みのごんたsennaによる全文検索を利用するために、今回システム\nリニューアル中ですが、全角２文字のでの検索条件が\nヒットしません。ログにも記録されません。今のところ\n全角３文字以上はヒットしています。仕様上の問題でしょうか。\nお知恵をお貸し下さい。\n\n■環境\nOS:Solaris8 x96\nDB:MySQL 4.1.15\nsenna:senna-20060603\n\nヒットする時\nWHERE MATCH (idx) AGAINST ('+アクション +ドラマ' in boolean mode)\n-> ログには アクションとドラマが sen_index_sel\n\nヒットしない時\nWHERE MATCH (idx) AGAINST ('+国内 +ドラマ' in boolean mode)\n-> ログには ドラマのみが sen_index_sel\n\n
1149133166テオファビ早速のお返事感謝します。\n> よってパフォーマンスにそれほど差はないはずです。 \nすみません。 スコアで order by すると多少遅くなるだけで、それをしなければ相変わらずの驚愕速度でした。m(__)m\n\n5.0系にも組み込んで色々とテストしてみます。
1149093105グニャラくんY.Shimamuraさん＞\nちょっと時間かかると思いますが、\n宜しくお願いいたします。\n\nテオファビさん＞\nご利用ありがとうございます。\n1.複数フィールドの場合は、内部的に連結をしています。\nよってパフォーマンスにそれほど差はないはずです。\n何か他の原因が考えられると思います。\n\n2.ちゃんと調べていないのですが、\nSennaのスコアは基本的にtf-idfだと思います。\n元のMySQLもそうだと思いますが、\n単語の区切り方が異なるので違ったスコアが出ると思います。\n\nhttp://qwik.jp/senna/query.html\nにあるとおり、マッチングの方法が変わるとスコアも変わります。\n\n4.1系のみ現在2indパッチがないです。\nというわけで、高速に使うためには\nいろいろと工夫が必要だと思います。
1149060036テオファビまずは大変素晴らしいソフトウェエアを公開して頂き感謝・感謝です。\n既存のシステムへ組み込んでみましたが驚愕のパフォーマンスの向上にビックリしております。\n\n２点確認させてください。(mysql 4.1.15 width senna)\n\n1. ～WHERE MATCH('body')～ を ～WHERE MATCH('title, body')～ と対象を複数にするとガクッとパフォーマンスが落ちてしまうようです。\nこれはこういうものなのでしょうか？\nもちろんフィールドの取り方を変更すれば回避できることなのですが。\n\n2. スコア against('hoge') as score の計算方法はオリジナルと同等なのでしょうか？（なんか違うような）\nもし sennaのオリジナルなのでしたら算出方法をご教授いただけると幸いです。\n
1148554302Y.Shimamuraご返事ありがとうございます。\n了解いたしました。しばらく待ってみようと思います。
1148367426グニャラくんY.Shimamuraさん＞\nお返事が遅くなり申し訳ございません。\n現在、AIOまわりについてソースを見直している最中です。\nその結果コンパイルが通るようになる可能性はあると思います。
1147963757Y.Shimamura毎度毎度お世話になります。。\n\nFreeBSD上でSennaを動かしているとどうしてもメモリ不足に悩まされるので、\nLinuxを導入し、そこでSennaを動かそうということになり、インストールを行いましたが\nどうもうまくいきませんでした。\n\nDebian/Sargeを使用し、\n# uname -a\nLinux linux 2.6.8-3-686-smp #1 SMP Thu Feb 9 07:05:39 UTC 2006 i686 GNU/Linux\n# gcc -v\nReading specs from /usr/lib/gcc-lib/i486-linux/3.3.5/specs\nConfigured with: ../src/configure -v --enable-languages=c,c++,java,f77,pascal,objc,ada,treelang --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --with-gxx-include-dir=/usr/include/c++/3.3 --enable-shared --enable-__cxa_atexit --with-system-zlib --enable-nls --without-included-gettext --enable-clocale=gnu --enable-debug --enable-java-gc=boehm --enable-java-awt=xlib --enable-objc-gc i486-linux\nThread model: posix\ngcc version 3.3.5 (Debian 1:3.3.5-13)\n\nとなっています。\n\n./configure --prefix=/usr --enable-aio --disable-nfkc --without-mecab\n\nでmakeを行ったところ、\n\nIn file included from /usr/include/stdlib.h:33,\n from senna_in.h:28,\n from io.c:18:\n/usr/lib/gcc-lib/i486-linux/3.3.5/include/stddef.h:213: error: syntax error before "typedef"\nio.c: In function `sen_io_win_mapv':\nio.c:464: warning: implicit declaration of function `posix_memalign'\nmake[2]: *** [io.lo] Error 1\n\nというエラーで終了してしまいました。\n\nMLで似たようなエラーで止まっている報告がありましたが、\nDebianで使用が確認できていると言うことなので、Debianを導入してみたのですが‥\n何分Linuxは初めてなのでよくわからないのですが、\n足りないライブラリ等があるのでしょうか？\n\nよろしくお願いします。
1147871715MURAパッチの提供ありがとうございます。\n週末に試してみます。
1147546719グニャラくんMURAさん>\n最新のMySQL 4.0.26パッチに基づいた、\nMySQL 4.1.19のパッチを試しに作ってみました。\nコンパイルしか通していませんが、\nこれでBOOLEAN MODEでの動作が可能になるかもしれません。\n一度お試しください。\n\nhttp://tasuku.suenaga.name/pub/senna/mysql-4.1.19.senna.diff.alpha.tar.gz
1147447220MURAグニャラさん\n\n調査ありがとうございます。\n\nこちらでも細々調べましたが、\n日本語文字4文字以上でヒットしログ出力あり、\n日本語文字3文字以下でヒットせずログ出力なし、\nのような傾向がありそうです。\n\nご参考まで。\n\n\n[試した検索語]○でヒット、×でヒットせず\n○アメ横で\n×アメ横\n\n○これでも\n×これで\n\n○社員食堂\n×社員食\n\n○そうだった\n○そうだっ\n×そうだ\n\n○握り寿司\n×寿司\n\n\n\n\n
1147323157グニャラくんMURAさん>\nはじめましてー。ご利用ありがとうございます。\n状況から、MySQL本来の全文検索が使われているようです。\nMySQL 4.1用のパッチの問題かもしれません。\n調査いたしますね。
1147280968MURAはじめまして。\n感謝しつつ、利用させていただいてます。\n\nFedora Core 2 + MySQL4.1.15 + mecab0.90\n文字コードはEUCで利用しているのですが、\nIN BOOLEAN MODEで、検索語に漢字を指定したときに検索にヒットしません。\n(多バイト文字が原因かと思ってましたが,一部ひらがなでヒットしています。)\n今までIN BOOLEAN MODEを利用していなかったのですが、この場合は問題なくヒットしております。\nシングルバイト文字で検索した場合は, IN BOOLEAN MODEの指定の有無にかかわらず動作しております。\n\n検索を繰り返しながら、tailでsenna.logログを見ていると、IN BOOLEAN MODEでの検索の場合は\nまったくログが出ていないことに気づきました。\n何か設定ミスがあるような気がして利用者向けの情報を探したのですが、解決の糸口が見つからない状況です。\n\n何か心当たりがあればご指摘いただけますでしょうか？\n\n--------------------------------------------------IN BOOLEAN MODEを指定しない場合\n\n05/11:01:14:16.6230050764sen_index_sel > ( 寿司 )\n05/11:01:14:16.62311507640:寿司(10526)\n05/11:01:14:16.6231320764n=1 ( 寿司 )\n05/11:01:14:16.6231470764o=0 n=1 s=14 r=201\n05/11:01:14:16.6231730764exit\n05/11:01:14:16.6231880764exact: 12\n05/11:01:14:16.6232020764hits=12\n05/11:01:14:16.6232310764ft_nlq_reinit_search(0x9e7e878)\n05/11:01:14:16.6235940764ft_nlq_close_search(0x9e7e878)\n05/11:01:14:16.6236450764sen_records_close < (999a1d8:13:0)\n\n--------------------------------------------------IN BOOLEAN MODEを指定した場合\n\n(ログには何も表示されず)\n\n--------------------------------------------------\n
1147257001Y.Shimamura速度は落ちるものの、非常に便利ですね->*E\nsnippet UDFなんてのも気づかないうちにあって、、\nこんな細かい指定までできるようになってるなんてすごい！\n\n話は戻り、\nsenna.hにSEN_LEX_NGRAM_UNIT_SIZEがありました。\nさっそく"1"で再コンパイルし、インデックスを作成してみたところ‥\n求めていたとおりの結果が出るようになりました。\nvarchar(50)*2\ntext *1\nに3つのNGRAM(INITIAL_N_SEGMENTS=96)ですが、全く問題ないです。\n検索速度も全く問題なく(むしろもっとかかってもいいのにと思えるほど)良好です。\nFOUND_ROWS()なんてのを使ってカウントしてますが、こちらもいい感じです。\n\nなんにせよ、すばらしいプログラムだと思います。\nこれから他に新しく出た機能を試してみたいと思います。本当にありがとうございました。
1147248581グニャラくん>Y.Shimamuraさん\nバタバタしていてMLでの返事もなかなか書けずにいます。\n\nまず、(B)について、想定された動作だと思います。\n\nShift-JIS版のmecabで\n「レゲェでいぃ歌手や歌教えてぇ♪♪」\nを分かち書きしてみると、\n「レゲェ で い ぃ 歌手 や 歌 教え てぇ ♪♪」\nとなります。\nよって、（基本的には）\n「歌」や「♪♪」では検索にヒットし、\n「♪」では検索にヒットしません。\n\nhttp://qwik.jp/senna/query.html\nにある書式を用いて\n「*E-7 ♪」とすればヒットするでしょう。\nMySQLの場合は、\nMATCH(x) AGAINST('*E-7 ♪' IN BOOLEAN MODE)と指定してあげるとよいでしょう。\n速度は遅くなってしまいますが。\n\nsennaのソース中、SEN_LEX_NGRAM_UNIT_SIZEでN-gramのNのサイズを決めています。\nデフォルトは2です。\nつまり、内部的には\n「レゲ ゲェ ェで でい いぃ ぃ歌 歌手 手や ・・・」\nという2文字の単語のリストが辞書に登録されます。\n(N-gramの部分はきちんと追っていないので間違っているかもしれません)\nよって、1文字検索の場合は(B)と同じような現象が起こります。\n\nこの動作は適合率（適切なものを検索）と再現率（もらさず検索）を両立させるためのものです。\n適合率重視で検索を行い、\nヒット数が少なければ再現率重視の検索を、\nさらにヒット数が少なければ、より再現率重視の検索を行うようになっています。\nこの動作について設定を行うのが、\n先ほど紹介した\nhttp://qwik.jp/senna/query.html\nの「*E」パラメータなのです。\n
1147184573Y.Shimamura確率的言語みたいなのは全く解らなくて、バグかどうか解らないのですが、\nN-GRAMインデックスについてお聞きしたいことがあります。\n\nmysql-4.0.26.senna.diff内のSEN_INDEX_NORMALIZEを\n(A) SEN_INDEX_NORMALIZE SEN_INDEX_SPLIT_ALPHA...SEN_INDEX_NGRAMにしたり\n(B) SEN_INDEX_NGRAMだけにしたり\nそんな試行錯誤を繰り返していたのですが、\nどうも出力結果が気になりました。\n\n・(A)の場合、前方一致or後方一致しかされない(？)\n例1:("美"で検索すると、"美人"はﾋｯﾄしても"中島美嘉"はﾋｯﾄしない)\n例2:("姫"で検索すると、"安藤美姫"はﾋｯﾄしても"姫様"はﾋｯﾄしない)\n// 例1は実際 LIKE %美% で検索すると682件\n\n・(B)の場合、一致するものの、微妙(？)\n例:("♪"で検索すると5件、"♪♪"で検索すると217件)\n// 実際 LIKE %♪% で検索すると1097件\n\nのような感じです。\nもしかして(特に[B]は)これで正常なのかもしれないのですが、なぜ"♪"と"♪♪"でこの違いが。。という感じです。\n試しに、\nN-gram length min:1 max:∞\nN-gram frequency min:0 max:∞\nでいくつか調べてみました。\n\n"レゲェでいぃ歌手や歌教えてぇ♪♪"という文字列(実例。爆)の場合、\n"♪"と"歌"が同じ共起頻度でした。\nですが"♪"だとﾋｯﾄせず、"歌"だとﾋｯﾄします。\n\nこんな感じです。\nこれは正常なのでしょうか？\n\n現在(B)でﾃｽﾄ運用しています。\n\n// MLで質問させていただきましたインストールに関してはmecabの部分を削ってインストールに成功しました。
1146485051グニャラくんVIVIさん＞\nこちらのメール環境でお手数をかけて申し訳ありませんでした。\nソースコードの入ったメールを受け取りました。\n解析いたしますね。
1146210926グニャラくんVIVIさん＞\nエラーが出てしまいますか。。。\nメールで新しい送付先を連絡しました。\nお手数ですが、宜しくお願いいたします。
1146197684VIVIsenna.windows@gmail.com に再送していますが、エラーで送れません。サイズ制限等ありますでしょうか？
1146129462グニャラくんVIVIさん\nありがとうございます。\nしかし、まだソースが届いていないようです。\n\n添付ファイルがMLのプログラムではじかれている可能性もあるので、\nsenna.windows@gmail.com\nに再送いただけると嬉しいです。\nお手数かけて申し訳ないです。
1146110931VIVIまたまた遅くなりましたが、ソースを送付いたしましたので、よろしくお願い致します。
1145968390グニャラくんVIVIさん\nこちらこそお返事が遅くなりました。\nsenna at razil.jp\nに送付いただけると幸いです。
1145860383VIVIお返事が遅くなりました。\nお手数をお掛けしておりまして、申し訳ありません。\nソースコードの件、了解致しましたが、どのようにお送りしたらよろしいでしょうか？
1145717819グニャラくんVIVIさん\n調査が遅れていて申し訳ございません。\nよろしければ、VIVIさんが構築した際の\nパッチ済みのMySQLのソースコード一式をいただけませんか？
1145083479VIVIよろしくお願いします。
1145016315グニャラくんVIVIさん\nはじめまして。すばらしい報告ありがとうございます。\nおそらく不具合だと思います。\n追ってみますね。。。
1144977417VIVIはじめまして。\nすばらしいソフトウェアの公開を有難うございます。\n有効に使わせていただきたいと思いますが、現在以下のような問題が発生して悩んでおります。\n\n使用環境\nWindowsXP SP2\nMysql 4.1.16\nSenna rev113\nNGRAMのみの使用でmecab未使用\nUTF-8コード使用\n\nテストとして、空のテーブルにファイルよりLoad data にて一括で登録していますが、\nファイルの件数(25万件ほど)が増えるとMysqlがダウンします。\n\nログにてダウン箇所を追いかけていくと\nsen_ngram_next\n_sen_sym_get\npat_at\nsen_io_seg_bind\nsen_io_seg_map 内にてsegno = -1 のログを残した後Abendします。\n\n上記の_sen_sym_get 内にて\nsym->header->garbages[size] （size=7) の値にいきなり 1679392　という\n数値が入ってきます。（ダウン直前以外は、すべて 0）\nこのあたりが問題のような気がしていますが、\nチェック箇所、対処方法などをご教示いただければと思います。よろしくお願い致します。\n
1143697747Shimamuraご返答ありがとうございます。\nメールを送信させていただきました。
1143695377moritapoうーん、、なんか厄介ですね。\nよろしかったら再現条件(sqlの内容も含めた情報)を\nいただけると対応できるかも知れません。\nここだとナンですので、senna at razil.jpの方にメールを\nいただくのはいかがでしょうか？
1143650085Shimamuraスペルミス失礼しました。\n無事Sennaのインストールは完了しました。\n\n早速FULLTEXTインデックスを張ってみたところ、Lost connection to MySQL server during queryとなってしまいました。\n\nhttp://ryne.jp/senna.txt\n\nこちらにSennaのログとMySQLのログを置いておきました。\n\nメモリ不足？のようなのですが、実際メモリが足りない状態ではありませんでした。。\n\nSEN_INDEX_NGRAMのみでコンパイルしています。\n\n\nこんなに手こずるとは思わず苦戦状態です。。
1143642438グニャラくんリポビさん＞\nはーい。とはいえ手がしばらく空きそうにないのです。。。\n\nShimamuraさん＞\n--disable-nkfcではなくて、\n--disable-nfkcでお試しください。
1143568786ShimamuraFreeBSD 4.11のインストールでこけました。。\nenv CC=gcc CFLAGS="-O3 -I/usr/local/include/" LDFLAGS="-L/usr/local/lib -pthread" \\n./configure --disable-nkfc --without-mecab \n\n\n上記の./configureを通しました。\n/* SEN_INDEX_NGRAMのみで使用するため、MeCabもはずしました。*/\n\ngmakeしているうちにメモリは500MB以上消費、LAが40を超えてSWAPに落ちるとき辺りに\n\n gcc -D_REENTRANT -DSENNA_HOME=＼"/var/senna＼" -DNO_MECAB -I. -I. -I.. -I. -I.. -I/usr/local/include/senna -Wall -O3 -fno-strict-aliasing -O3 -I/usr/local/include/ -c nfkc.c -Wp,-MD,.deps/nfkc.TPlo -fPIC -DPIC -o .libs/nfkc.o\nnfkc.c: In function `sen_nfkc_map2':\nnfkc.c:71730: virtual memory exhausted\n\nとなって、エラーで止まってしまいました。\n\n使用アーカイブ:senna-20060328.tar.gz
1143550095リポビはい、よろしくお願いします
1143519048グニャラくんリポビさん＞\nなるほどー。\n手が空いたら僕のほうでも試してみますね。
1143512553リポビsenaをインストールしようとしていたサーバを他の用途に取られてしまい\n現在インストールの試みができないのですが\nMeCab 0.90rc11 で\n./configure --with-charset=sjis\nとしてコンパイルしました\n\nまたsena用にマシンを調達出来しだい、ご報告させていただきます
1143468583グニャラくんShimamuraさん＞\nテーブルごとにバッファを確保し続けているので、\nテーブル数が多いとやはりメモリ不足になってしまうと思います。\n\nデータをコピーして、\n全文検索用のテーブルを設けるというのも\n１つの解決策かと思います。
1143268988Shimamuraありがとうございます。\n早速テストしてみようと思います。\n\nまた、メモリ確保の部分なのですが、\n5.4の環境で2時間に1度メモリ不足でMySQLが再起動しています。\n\ninitial_n_segmentsの数値も、メモリバッファ量も調整してあるのですが、、\n実行時のみメモリを確保するらしいのですが、実行後はどうなるのでしょうか？
1143210408グニャラくんShimamuraさん>\n遅くなりましたが、\n実際にインストールしてみましたー。\nhttp://qwik.jp/senna/freebsd_4_11.html\n\nリポビさん>\nld.so.confについては\n追記しておいたほうがいいですね。\nご指摘ありがとうございます。\n\njapanese_tokenizer関係のエラーは初見です。\nほ、whiteboxを入れてみますか。。。\n\nmecabはどのようにしてインストールされましたか？
1143117261リポビautoconfをやっていませんでした\nautoconfしてconfigureしてみたところ\n\nsize of char... configure: error: cannot compute sizeof (char), 77\n\nのメッセージで今度は止まってしまい、いろいろ調べて見ましたところ\n/etc/ld.so.conf\nに\n/usr/local/lib\nが入っていなかった為、/usr/local/libを/etc/ld.so.confに追加後\nconfigure make\n前の段階より進んだのですが\n今度は\n\n/usr/local/lib/libmecab.a(japanese_tokenizer.o)(.gnu.linkonce.t._ZN5MeCab17JapaneseTokenizerD1Ev+0xc4):\nIn function `MeCab::JapaneseTokenizer::~JapaneseTokenizer()':\n\nなるメッセージが出て止まってしまいました
1143075644グニャラくんShimamuraさん＞\nありがとうございます。\nインストールしますね。
1143069788Shimamuraありがとうございます。\nISOなのですが、\nftp://ftp2.jp.freebsd.org/pub/.d3/FreeBSD/releases/\nこのFTPなら比較的4.11が置いてあるので、よかったらよろしくお願いします。
1143005586グニャラくんShimamuraさん＞\n4.11のminimun ISO-imageを手に入れて\nインストールしようとするも、\n通常のミラーにはもう4.11関係のファイルがないため、\nFTP installでコケたままになっています。。。\n\nリポビさん＞\n報告ありがとうございます。\nひとつ確認したいことがあります。\nmysqlのディレクトリでconfigureを行う前に、\nautoconfはしましたでしょうか？
1143004800リポビ私の方でも同じようなエラーがmysql 4.0.26 make時に出て止まってしまいます\n\nmyisamchk.o(.text+0x6e): In function `main':\nmyisamchk.c:102: undefined reference to `sen_init'\nlibmyisam.a(mi_open.o)(.text+0x1585): In function `mi_open':\nmi_open.c:332: undefined reference to `sen_log'\nlibmyisam.a(mi_open.o)(.text+0x15a1):mi_open.c:333: undefined reference to `sen_log'\nlibmyisam.a(mi_open.o)(.text+0x15bd):mi_open.c:334: undefined reference to `sen_log'\n....\n\nOSはwhite box(EL3相当)\nsennaのconfigureオプションは\n./configure --disable-nfkc --prefix=/usr\nその後以下を確認し\nldconfig -p grep -i senna\nlibsenna.so.0 (libc6) => /usr/lib/libsenna.so.0\nlibsenna.so (libc6) => /usr/lib/libsenna.so\nmysqlにpatch を充ててmakeすると上のエラーが出て止まります\n\n./configure --disable-nfkc\nでも試してみましたが同じでした\n
1142837087グニャラくんここ数日のパッケージが壊れていた可能性があります。\nSubversion経由のダウンロードでは問題ありません。\n修正したパッケージでの配布を再開しました。
1142815121グニャラくんShimamuraさん＞お待ちくださーい\nNooさん,wheelさん＞\nサーバ移転でsubversionのプロトコルを、\nsvnからhttpに変えたせいで起こった現象です。\n申し訳ございませんでした。\n指摘ありがとうございます。\nダウンロードページを更新しました。
1142671985Noowheelさん\n\nチェックアウトできました！\n早速コンパイルしてみます。どうもありがとうございました:-)
1142644928wheelNooさん\n\nsvn co http://svn.razil.jp/senna/trunk senna\nとすればよいようです。\n（私も小1時間はまりました。）
1142627248NooSubversionでソースを取得しようとしたところ、\n\nsvn: /var/svn/misc/senna-it.conf:1: Section header expected\n\nというエラーが出てしまいました…。
1142608601Shimamuraよろしくお願いいたします。。
1142482477グニャラくんうーん。4.11のISOイメージをとってきました。\nインストールレポート書いてみましね。
1142477756Shimamura試しに/usr/libにシンボリックリンクを張ってみました。\nsv-2# ldconfig -r grep senna\n 67:-lsenna.0 => /usr/lib/libsenna.so.0\n 125:-lsenna.0 => /usr/local/lib/libsenna.so.0\n 159:-lsenna.0 => /usr/local/lib//libsenna.so.0\n\nsv-2# ls -l /usr/lib/libsenna.so.0\nlrwxr-xr-x 1 root wheel 28 Mar 16 11:47 /usr/lib/libsenna.so.0 -> /usr/local/lib/libsenna.so.0\n\nしかし状況相変わらずでした。\n4.11では無理なのでしょうかね。。LinuxThreadsを使用しなくてもこんな感じです。
1142470549グニャラくんldconfigで/usr/lib/libsenna.so.0が捕捉できていなさそうです。\n--prefix=/usrだと/usr/lib/libsenna.so.0にインストールされるはずなので。。。\n
1142429384Shimamurasv-2# ls -l /usr/local/lib//libsenna.so.0\n-rwxr-xr-x 1 root wheel 216424 Mar 14 23:42 /usr/local/lib//libsenna.so.0\nこんな感じでした。\n\nSennaのconfigureは\n--prefix=/usr --without-mecab --disable-nfkc \\nCFLAGS=-O3 CXXFLAGS=-O3\nこんな感じです。既に指定してました(*_*)\n\n試しにportsを改変してインストールしてみてこの結果なので、、\n\nPacking list:\n Comment: PKG_FORMAT_REVISION:1.1\n Package name: senna-0.20060311_1\n Package origin: textproc/senna\n CWD to /usr/local\nDependency: ja-mecab-0.81\n dependency origin: japanese/mecab\nFile: bin/senna-cfg\n Comment: MD5:329361a25890ea77a0e0c125deeea576\nFile: include/senna/senna.h\n Comment: MD5:c9c45e28215d1d03b4eb3de9f192603b\nFile: lib/libsenna.a\n Comment: MD5:5331e31bda469e9aa3346d78ab6f23f3\nFile: lib/libsenna.la\nFile: lib/libsenna.so\n Comment: MD5:1bb7d4bf8fae7af27d0e19f42ad03499\nFile: lib/libsenna.so.0\n Comment: MD5:d20e1b5a76f7420086b272bcbfd6bb43\n Deinstall directory remove: include/senna\n EXEC '/sbin/ldconfig -m %D/lib'\n UNEXEC '/sbin/ldconfig -R'
1142417341グニャラくん158:-lsenna.0 => /usr/local/lib//libsenna.so.0 \nがちょっと気になったりはします。\n\nsennaのconfigureで--prefix=/usrを指定して、\nSennaのインストールを/usr/libと/usr/include以下にしたら\n解消できるかもしれません。
1142347757Shimamuraやはりダメでした。。\n\nldconfigの内容は、\nsv-2# ldconfig -r grep senna\n 124:-lsenna.0 => /usr/local/lib/libsenna.so.0\n 158:-lsenna.0 => /usr/local/lib//libsenna.so.0\n\n/usr/local/libの内容は\n \nsv-2# ls -l /usr/local/lib grep senna\n-rw-r--r-- 1 root wheel 226164 Mar 14 23:42 libsenna.a\nlrwxr-xr-x 1 root wheel 13 Mar 14 23:42 libsenna.so -> libsenna.so.0\n-rwxr-xr-x 1 root wheel 216424 Mar 14 23:42 libsenna.so.0\n\nです。\n\n5.4はうまく動くのですが、、
1142343973グニャラくんShimamuraさん＞\nうーん。。。なんなんでしょう。\n\n昔のライブラリが残っていたり、とか。\nとりあえず、/usr/libとか/usr/local/libとかにある\nlibsenna*をすべて消去して、\nldconfigを実行しlibsennaがないことを確認。\nSennaを作成しなおし、\nさらにmake後にldconfig -p grep sennaでlibsennaがあることを確認して、\nMySQLのmakeをしてみてくださーい。。。\n\nやっぱりバイナリパッケージは必要ですね。
1142285115Shimamura修正をしなくても初めのエラー(../include/myisam.h:33: senna/senna.h: No such file or directory)\nは無くなりました。\nが、依然\nmyisamchk.o: In function `main':\nmyisamchk.o(.text+0x6c): undefined reference to `sen_init'\nlibmyisam.a(mi_open.o): In function `mi_open':\nmi_open.o(.text+0x9d7): undefined reference to `sen_log'\nmi_open.o(.text+0x9f0): undefined reference to `sen_log'\nmi_open.o(.text+0xa0c): undefined reference to `sen_log'\nmi_open.o(.text+0xa25): undefined reference to `sen_log'\nmi_open.o(.text+0xa40): undefined reference to `sen_log'\nlibmyisam.a(mi_open.o)(.text+0xa93): more undefined references to `sen_log' follow\n\nのようなエラーが出てmakeが通らない状況です。\n\n試しにportsのMySQLを使用してもみましたが、上記のエラーは同様です。\n\nうまくライブラリのパスが通ってないのでしょうか？？
1142212250グニャラくんShimamuraさん>\nMySQLのconfigureを以下のようにした場合はどうでしょうか？\n\nCC=gcc CFLAGS="-O3 -fno-strength-reduce -march=i686 -I/usr/local/include" \\n CXX=gcc CXXFLAGS="-O3 -fno-rtti -fno-exceptions -march=i686 \\n -felide-constructors -fno-strength-reduce -I/usr/local/include" \\n LDFLAGS="-L/usr/local/lib" \\n ./configure --prefix=/usr/local/mysql --enable-assembler \\n --with-charset=utf8 --with-extra-charsets=sjis,ujis\n
1142062257Shimamura初め、if内にint p;でやってもだめだったのですが、外で変数定義ですか。。勉強になります。\nIN BOOLEAN MODEのフルサポートが出るというのは助かります。是非頑張ってください。\n\nFreeBSD4.11のほうではOSの都合もあり、5.4と違うのはLinuxThreadsでコンパイルするぐらいでしょうか。\n\nmysql-4.0.26用のパッチ、2indパッチをあててインストールしています。\n\nが、\n../include/myisam.h:33: senna/senna.h: No such file or directory\nということでうまくincludeされておらず、(/usr/local/include/senna/senna.hは実在する)\nmyisam.hで/usr/local/include/を直接指定してみると、MLで投げられていた\nhttp://lists.sourceforge.jp/mailman/archives/senna-dev/2005-May/000044.html\nのようなエラーでした。\n\n5.4の時はautoconfをすればきちんと通っていたのですが、4.11はどうしても通らないです。。
1142047578moritapo>>Shimamuraさん\nsyntax error失礼いたしました。\nIN BOOLEAN MODEは現状でも+などは使えています(thanks yappoさん)\nもう少しでboolean modeの機能をフルサポートした版が出せると思います。
1142041534グニャラくんShimamuraさん\nおお、標準Cの仕様を逸脱してる部分があります。\nsen_query_execを\n404: int p;\n405: if (!i !q !r) { return sen_invalid_argument; }\n406: // dump_query(q, q->expr, 0);\n407: p = q->partial_match_threshold;\nにしてください。\n指摘ありがとうございます！
1142033826Shimamura5.4のほうはかなり順調に動いているようです。\nN-Gramのため莫大なインデックスとなりましたが、そのサイズに見合う効果が出ています。\nもう少しテストしてみた後、アプリケーション側でIN BOOLEAN MODE等のオプションに対応させてみたいと思います。\n\nさて、4.11のほうですが、ﾍｯﾀﾞに\n#ifndef int_least8_t \ntypedef char int_least8_t; \n#endif \nを追記し、ｺﾝﾊﾟｲﾙしたところquery.c辺りでSyntax errorでした。\n\nquery.c: In function `sen_query_exec':\nquery.c:406: syntax error before `int'\nquery.c:407: `p' undeclared (first use in this function)
1142028560gunyarakunShimamuraさん＞\nおお、稼働できたのですね！\n長い道のりお疲れ様でした。\n\nそして4.11でインストールできないんですね。。\n#ifndef int_least8_t\ntypedef char int_least8_t;\n#endif\nとsenna.hに書き込めば動作する、\nとは思います。\n貴重な情報ありがとうございます。
1142027061Shimamuraありがとうございます。\nFreeBSD5.4 + MySQL4.0.26 + Senna rev.93で今のところ順調に稼働しています。\n\nFreeBSD4.11のサーバーが届いたのでテストしてみると、Sennaインストール時に(./autogen.shを行った後、gmakeを動かすと)\nIn file included from io.c:28:\nstr.h:57: syntax error before `int_least8_t'\n\nとなってインストールができませんでした。。
1141984330gunyarakungooglerさん＞\nぜひぜひご利用くださーい。\n\nShimamuraさん＞\n現在インストールページにあるパッケージは、\nまだrev.93の変更が反映されていません。\nSubversion経由で取得いただくか、\n明日ダウンロードいただけると\nおそらくN-gramでの検索ができるようになると思います。\n宜しくお願いいたします。
1141981266ShimamuraMLで質問を投げさせてもらいましたが、こちらで報告させていただきます。\nやはりこちらの環境\nFreeBSD 5.4\ni386\nMySQL4.0.26\n\nshare->keyinfo[i].senna = sen_index_create(buf, sizeof(my_off_t), SEN_INDEX_NGRAM, 0, sen_enc_sjis);\n\nこのmi_open.cでコンパイルしましたが、状況相変わらずでした。。\n\nもう少ししたらXeonのFreeBSD6(MySQL4.0.26)が届くので、それでもテストしてみたいと思います。
1141977161googlerなるほど！これですっきりと導入にふみきれます。\nすばらしいソフトウェアのご提供ありがとうございます。\nデザインもすっきりしましたね(笑)
1141975604gunyarakunnaoyaさん、\n情報ありがとうございます！\nSolaris, Windowsでの動作報告は貴重です。\n\n「メール」問題 on Windowsは調べてみます。\nWindows上のMeCabは辞書作成が大変そうですね。。。\n\n既知の不具合・制限事項も更新させていただきました。
1141961054moritapo>>googlerさん\n申し訳ありません。。rev93でn-gramインデックスのバグを修正しました。私の手元(debian sarge)ではn-gramで問題なくインデックスを作成、検索できています。
1141949488naoyaはじめまして.\n\n次の環境にても動作することを確認しました．ご参考までに. \n\n　文字コード　UTF-8\n\nプラットホーム（コンパイラ):\n Solaris 10 3/05 (Sun C コンパイラ5.8 32bit)\n Linux RHEL3 update6 (gcc 3.2.3)\n Windows XP SP2 (VC++ 7.0)\n\n以下の点が不具合(?）といったところでした\n\nAll\n\n どなたかのご指摘のとおり,N-Gramでは動きませんでした\n\nSolaris\n\nPATH_MAX　がシステム側で定義されていませんでした\n\nWindows\n\nPATH_MAX　は同じく.\n\nご提供のパッチでは　vcproj ファイルなどが変更されないため,自身でMySQLソースパッケージで提供される\nものを変更しました\n\n　Windwos/UTF-8でコードマッピングに問題があるのかあるいはSennaのノーマライズの問題なのか,わかりませんが,　－　あるいは　ー　のノーマライズがうまく作動していないのでしょうか？　または　Mecabの問題でしょうか?？　”メール”　という単語でインデクスから引くことができませんでした　(Mecabでは分かち書きしてくれているようでした)\n\n\nまた,　Mecab辞書は　Cygwin　で作った方がうまく作れるようでしたね.(関係ないかもしれませんが)\n \nなんにせよ,すばらしいソフトウェアを公開していただきありがとうございます.
1141884540gunyarakungooglerさん、貴重なご意見ありがとうございます。\nいつかのrevisionより問題が混入したようです。\n現在N-gramの環境を作成しテストを行っている段階です。\nおそらく環境依存ではないのではないか、\nと考えられます。
1141750694googlerN-gramでの利用でsegmentation faultが発生する\nという既知の問題があるそうですが、これが利用を思いとどまらせています。結構致命的だと思うのですが、解決はまだされていないのでしょうか、、、\nまた、N-gram利用されている方で、問題ない、というケースもあるのでしょうか。環境依存するのであれば推奨環境で構築したいのですが、、\n
1141110669niraikanaibirdgunyarakunさん\n\n解決できました。ありがとうございました。
1141046684gunyarakunniraikanaibirdさん、\npkg-configを入れてみてください。
1141037918niraikanaibirdはじめまして。\nインストールでつまづいています。\n\n# ./configure --prefix=/usr\nを実行したときに以下のログが出ていてmakefileが作成されません。\n---------------\n./configure: line 20042: syntax error near unexpected token `GLIB,'\n./configure: line 20042: ` PKG_CHECK_MODULES(GLIB, glib-2.0 >= 2.8)'\n---------------\n\nautogen.shをを実行したときにも最後に同じログが出ています。
1140149534takaありがとうございます。\n1GB超えに関してなのですが、現在別の検証作業を行っているのでそちらが終わり次第ver.upしたいと思います。\ninitial_n_segmentsに関してはその時16まで減らしていたのですが足りなかったのでしょうか…。
1140072368moritapo>>takaさん\nrev80で1GB超のインデックスが動くようになったと思います。\n(まだ当方でも試験中ですが)\n\nmmap_sizeの問題については、\nメモリ消費量 = テーブル数 * initial_n_segments * 256KB\nが4GBを超過しているものと思われます。32bitマシンでは4GBが限度です。\nテーブル数を減らすか、initial_n_segmentsを減らす必要があります。
1139933166toteあっ、素晴らしいです。これでコンパイルが最適化できますね。
1139910436gunyarakunUTF8の正規化を利用しないのであれば、\nrev-77からnkfc.cのコンパイルを飛ばすことができるようになりました。\nconfigureに、--disable-nfkcを追加して\nmakeをお試しください。\n
1139807875tote\nCFLAGS=-O0でもだめですか？
1139797127aki下の方にもありましたが、\n\nmecab-0.90rc8をインストールした後、\nsenna-20060213-svn.tar.gz をダウンロードして、\nconfigure CFLAGS=-O2 の後 make すると、\n\ngcc -D_REENTRANT -DSENNA_HOME=\"/var/senna\" -I. -I.. -Wall -O3 -fno-strict-aliasing -O2 -Wp,-MD,.deps/nfkc.pp -c nfkc.c -fPIC -DPIC -o .libs/nfkc.o\n\nで止まってしまいます。下の方では、\n\n> コンパイルオプションを -O3 や -O2 をはずしたらいけましたよ\n\nとありましたが、ダメでした。\nちなみにOSはredhat9で\n\ngcc -v\n/usr/lib/gcc-lib/i386-redhat-linux/3.2.2/specs から spec を読み込み中\nコンフィグオプション: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --enable-shared --enable-threads=posix --disable-checking --with-system-zlib --enable-__cxa_atexit --host=i386-redhat-linux\nスレッドモデル: posix\ngcc バージョン 3.2.2 20030222 (Red Hat Linux 3.2.2-5)\n\nです。\nよろしくお願いします。
1139581840takaお待ちしております。\n次から次へと申し訳ないです。。。
1139580179gunyarakuntakaさん、お待たせしちゃうかもしれませんが、\n宜しくお願いします。。\n\nERROR 1030: Got error 134 from table handler\nが出てくるという報告は他にもありまして、\n1Gの問題とは直接には関係していないと推定されます。\n検索クエリが短いときに問題が起きるようで、\nそれが、対象件数が多すぎるからか、\nそれともクエリが短いことそのものが原因なのか、\nまだ把握できていない状態です。
1139577039takaありがとうございます。お待ちしております。\nまた転置ファイルが1Gの状態で検索し、100件程度のヒットなら問題ないのですが数百件以上ヒットするとERROR 1030: Got error 134 from table handlerとなってしまいます。これも容量が増えなくなるのと関連があるのでしょうか？
1139575158gunyarakuntakaさん、はじめまして。\nまず、1Gを超えると転置ファイルの容量が増えなくなる件についてですが、バグです。\n修正予定です。\n\ninsertの件については、\nまだ状況が追えていませんが、\nおそらくバグだとは思います。\n調査いたしますのでお待ちください。
1139491111takaはじめまして。150万レコード1.6G程度のデータで***.SEN.i.cが1Gになった所で転置ファイルが増えなくなりました。よって該当テーブルを数十個に分割しました。\nところがinsertを行っているとLost connection to MySQL server during queryとなってしまいます。\nその際logにはmmap(4194304,535,69632)=0x0 <-1>と表示されています。またその際mmap_sizeの値がどんどん増えint型のサイズを超えマイナス値となっていました。\n何か対処方法はありますでしょうか？\n動作環境\nmecab-0.81(patch有)\nipadic-2.6.0\nsenna-20051224-svn\nmysql-4.0.26\nFreeBSD 5.4-RELEASE
1139220646gunyarakunおお、問題解決よかったです。。。\nインデックスまわりのエラー処理をきちんとすべきですね。\n今後ともSennaを宜しくお願いいたしますー。
1139056331totemoritapoさん、gunyarakunさんスイマセン。\n原因がわかりました。\nインデックスをdropせずにver.upしたのが原因でした。\n\nホント申し訳ないです。
1138952380moritapoありがとうございます。お待ちしてますー
1138944251toteNFSは使ってないです．フツーにRAID．\nsennaのログは採ってたんで，見てみたら780MBありました．．．\n一度からにしてから再度log採ってみます．\nまた，そのlogはメールにて送ります．
1138938763moritapo確認ですが、toteさんの環境では、nfsでマウントしたファイルシステム上にDBファイルを置いて運用されていますか？\nあと、よろしければ、/var/senna/log/というディレクトリを掘って、mysqldに書き込み権限を与えて再起動し、\n事象が再現した時のログファイルをsenna at razil.jp等にメールして頂けると大変助かります。
1138898850gunyarakun中に取り込まれましたー。\nちょっと今バタバタしていてすぐ着手できそうにないんですが、\n修正後にテストお願いすると思います。\nよろしくお願いいたします。
1138809927toteあぅ。gunyarakunさんって中の人だったんですか？\n今は、rev.67とMySQL4.1.16で不満は無いですがなるべく新しいのが使えるのがうれしいかなぁっと・・\n\n「こんなテストをしたらどう？」みたいのがあったらご教示くださいませ。テストぐらいしか出来ませんので。
1138636903gunyarakuntoteさんの問題、NFSがらみのところなんですかねえ。\n追ってみないと。。。
1137140313toteしばらくrev.67で動かしていましたが、mysqlのパッチが新しくなった様なのでrev.73をインストールしてみました。\nしかし、以前起きた問題と同じような事が起こってます。はうぅ～～
1135703954toteと、思ったらダメだった・・・\n\nただのSELECTでもrestartするのです。\nやっぱり一個前のrev使います。
1135703366toteMySQLとMecabとSennaを一度削除して、インストールし直しました。\nrev.68でも素のMeCabにパッチが当たってないとMecab_new3がねぇ～よパッチングしたやつ使えって怒られたが・・・\n\nとりあえずちゃんと動いてるっぽいおのでオケ。
1135653091tote発生頻度は高いです。\nというか\nSELECT COUNT(*) AS 'count' FROM `article` WHERE MATCH(`body`) AGAINST('あいうえお')\nみたいな全文検索名クエリを受け取るたびにrestartしてます。\n\nMySQL-4.1.16とrev.67で動いていてsennaのみを\n./configure\nmake; make install\nでインストールしてMySQLを再起動しました。patchは当ててません（前のrevisionのパッチが当たってるので）\n\n今はsenna-20051224-svn.tar.gzで問題なく動いてます。MySQLの再インストールや再パッチなどは行ってません。
1135530278moritapoんんん、、rev68でですか。。\nrev64でファイル操作まわりを結構いじったのですがそれのせいじゃないとすると何だろう。。\n不具合が発生する頻度は高いですか？ 確実に再現する手順とかあると嬉しいです。
1135489196toterev.68でcannot lstat `.': Stale NFS file handleと出てmysqlが勝手に再起動します。\nrev.67まではOKでした。\nn-gramなmysqlは4.1.16でおます。
1133925441moritapoいずれもn-gramだと起こらないところが関連ありそげですね。。
1133856794Yappohttp://lists.sourceforge.jp/mailman/archives/senna-dev/2005-October/000155.html\n\nこの件と関連性あるんですかね・・・
1133842563axelmysqlからmecabを使わないようにすると\n問題が生じませんでした。\nお騒がせしました。\n
1133772639axelsennaをsenna-20051023にしても同様でした。\nデータの大きさが148769では、問題がおきませんでした。\n
1133767557axelちなみに\nhttp://dev.razil.jp/archive/deb/\nから、ダウンロードした\nlibmecab0_0.81-0.1_i386.deb\nlibsenna0_0.1-1_i386.deb\nmecab-utils_0.81-0.1_i386.deb\nmecab_0.81-0.1_i386.deb\nと、\nsenna-20051023-svn.tar.gz\nを、apt-get sourceしたmysql-dfsg-4.0.24に\nパッチをあて、ビルドしたパッケージを利用しています。\ndebでinstallしたものが、古いバージョンだからなのですかね？\n
1133765649axelphpで、\necho strlen($str);\nとすると、193884です。\n193884byte=189kbyteなので、256kb以下のようです。\n\n
1133756460axelログをみてみると、replaceしたときに、\nRLIMIT_STACK is 2093056 (9942)\nexpanded RLIMIT_STACK to 268435456\nとなっていました。
1133744641moritapoaxelさんの問題と同じかどうか分かりませんが、\n256kb超の文字列を食わせるとmecabが停止する場合があるようです。\n「かなり長い文章」のサイズはどれぐらいでしょうか？\n
1133702583axeldebian sargeで\nmysql4.0.24-10+senna0.1-1+php4.3.10を利用しております。\nfulltext indexをつけたLONGTEXTに、\nかなり長い文章をreplaceすると\nquery failed: Lost connection to MySQL server during query \nと、エラーになります。\n原因を調べていると、fulltext indexをつけたときに\n長い文字列を使うと発生する症状だとわかりました。\nLONGTEXTに、fulltext indexを使った場合、\n文字数の制限等はあるのでしょうか？\nまた、その制限を変更することはできるのでしょうか？\n\n宜しくお願い致します。\n
1133702564axeldebian sargeで\nmysql4.0.24-10+senna0.1-1+php4.3.10を利用しております。\nfulltext indexをつけたLONGTEXTに、\nかなり長い文章をreplaceすると\nquery failed: Lost connection to MySQL server during query \nと、エラーになります。\n原因を調べていると、fulltext indexをつけたときに\n長い文字列を使うと発生する症状だとわかりました。\nLONGTEXTに、fulltext indexを使った場合、\n文字数の制限等はあるのでしょうか？\nまた、その制限を変更することはできるのでしょうか？\n\n宜しくお願い致します。\n
1132902794moritapo原因わかって良かったです。これからもsennaをよろしくです。。
1132822071sesaru申し訳ありません。\nやっぱり、/etc/ld.so.conf が原因でした。\n\n/usr/local/mecab-0.81/lib\n/usr/local/senna/lib\n\nと指定してしないといけないところを、\n\n/usr/local/mecab-0.81\n/usr/local/senna\n\nとしておりました・・・。\nお騒がせ致しました。\n\n下記で、問題なくインストールできましたので、\nご報告いたします。\n\nexport CPPFLAGS=" -I/usr/local/mecab-0.81/include -I/usr/local/senna/include "\nexport LDFLAGS=" -L/usr/local/mecab-0.81/lib -L/usr/local/senna/lib "\n/usr/local/autoconf-2.59/bin/autoconf\n./configure --prefix=/usr/local/mysql-4.0.26 --with-charset=ujis --with-extra-charsets=complex\nmake\nmake install\n
1132641459sesaru/etc/ld.so.conf に指定していますがだめです。\nML の方でも以前話題になっていたようですが、原因がうやむやのまま終ったようです。\n\n実は、インストール先が微妙に違うのですが、それが原因でしょうか？\n\n/usr/local/mecab-0.81\n/usr/local/senna\n\nとしていて、\n\nexport CFLAGS="-O3 -mpentiumpro -I/usr/local/mecab-0.81/include -I/usr/local/senna/include "\nexport LDFLAGS=" -L/usr/local/mecab-0.81/lib -L/usr/local/senna/lib"\n\n上記のオプションを指定しています。\n前のリビジョン(rev50)では問題なかったのですが・・・。\n\nconfig.log を送った方がいいですか？
1132306260moritapo私の環境だとうまく再現しません。\nlibmecab.soやlibsenna.soをインストールしたパスが/etc/ld.so.confに含まれていなかった時に同様の症状を、\n経験したことがあります。\nconfigureスクリプトの内部でtest用のcプログラムのコンパイルに失敗しているのだと思います。\nコンパイルに失敗している理由がわかると嬉しいのですが。。
1132202235sennaしばらくぶりですが、\nrev 50 → 57 があがっていたので、\nMySQL 4.0.26 + senna rev57 をインストールしてみましたが、インストール手順のように「普通に」できなくなってきました。\n\nMySQL の ./configure で以下のようなエラーがでます。\nerror: cannot compute sizeof (char), 77\n\nいろいろ調べましたが、autoconf をやらずに、\n自分でMakefile に -lmecab -lsenna 等を追加したらいけました。\n\nML 等に話題になってる64bit 対応等もいいのですが、\nかなりめんどうなのですがどうにかなりませんかー？
1130652698moritapoとりあえずrev56でmyisamchkが動く版を出しましたー。
1129516288moritapoすみません！ 遅くなりました。\n現行バージョンですと、形態素解析インデックスを持つテーブルではmyisamchkに失敗してしまうと思います。\n対応版を近日中に出します。\n1GB超のテーブルが破損する件については、もし詳細情報がいただければ解析したいです。
1128440560taroはじめまして。senna すごいです。さっそくですが、\n200万レコード、1GB程度のテーブルが壊れてしまいました。\n\nmyisamchk: error: sort_buffer_size is to small\nMyISAM-table 'url.MYI' is not fixed because of errors\nTry fixing it by using the --safe-recover (-o), the --force (-f) option or by not using the --quick (-q) flag\n\nいわれるままに　sort_buffer_size　を増やしたのですが、やっぱりだめです。弱りました。\n
1128391179acuメモリが256MBしか無いからかなぁ。。\nコンパイルオプションはずしても止まる。。
1127870630moritapoそういうことですか。3時間かかってたのはswapperが動いていたのかも知れませんね。
1127806396sesaruコンパイルオプションを -O3 や -O2 をはずしたらいけましたよ。メモリも 300MB以上ないとエラーになりました。
1127741733moritapo３時間！ それは申し訳ありません。。orz\n方式を変えるか、configureで外せるようにするか対策考えます。
1127645283acu３時間待ってみたけど終わらない。。\n./configure --helpした限りでは、NFKCをはずしオプション無いですよね？
1127520039moritapoあ、それはコンパイルに時間がかかっているのかも知れません。辛抱強く待ってみて下さい。マシンによっては10分ぐらいかかるかも。。
1127498947acu./configure\nmakeすると\n gcc -D_REENTRANT -DSENNA_HOME=\"/var/senna\" -I. -I.. -Wall -O3 -fno-strict-aliasing -g -O2 -Wp,-MD,.deps/nfkc.pp -c nfkc.c -fPIC -DPIC -o .libs/nfkc.o\nで止まる。エラーメッセージは特にないです。\n\ngcc -vは、\n/usr/lib/gcc-lib/i386-redhat-linux/3.2.3/specs から spec を読み込み中\nコンフィグオプション: ../configure --prefix=/usr --mandir=/usr/share/man --infodir=/usr/share/info --enable-shared --enable-threads=posix --disable-checking --with-system-zlib --enable-__cxa_atexit --host=i386-redhat-linux\nスレッドモデル: posix\ngcc バージョン 3.2.3 20030502 (Red Hat Linux 3.2.3-34)\nです。
1126916255moritaposennaのバグや不審な挙動を見つけたらガンガン書いて下さい
生成時間: __qwik_page_generate_time__秒

メニュー/Menu

Search

Recent Change

もっと前の情報

RSSATOM
powered by qwikWeb