Solr CJKAnalyzerで日本語文章の検索をするその3 シンプルなschema.xml

Solr

CJKAnalyzerにパッチを当てたら早速日本語ドキュメントのインデキシングをしたいところなのですがその前にスキーマ定義です。テストデータとして芸能人ブログのリストを使います。 URL,bloger,title http://ameblo.jp/kamijiyusuke/,上地雄輔,オフィシャ…

2008-08-13

Solr CJKAnalyzerで日本語文章の検索をするその2 CJKAnalyzerのバグを修正する

Solr

SolrのCJKAnalyzerは内部でLuceneのCJKAnalyzerを利用しているのですが実はこまったことにこのLuceneのCJKAnalyzerには重大なバグがあります。まともに検索できません... http://issues.apache.org/jira/browse/LUCENE-973 ここに日本人のToru Matsuzawaさ…

2008-08-13

Solr CJKAnalyzerで日本語文章の検索をするその１まずはNグラムでいきまっしょぃ

Solr

日本語は英語などのように単語が空白で分離されていないので、インデキシングしたり検索したりするためには、日本語の文章をなんとかして単語に分割する必要があります。これを一般にトークナイズ( Tokenize )といいます。このやりかたには辞書を使う形…

2008-07-30

Solr の日本語環境設定をする

Solr

Solrで日本語ドキュメントのインデキシングと検索をするための環境設定をします。 SolrというよりTomcatの日本語環境設定といった方が近いかもしれませんが。文字コードにUTF-8を使用しています。 server.xmlの設定＄TOMCAT_HOME/conf/server.xmlに以下を…

2008-05-23

さくらインターネットに Solr をインストールする ( 4 ) Solr の動作確認をする

Solr さくらインターネット

Solrの配布パッケージに入っているテストデータを使ってインデキシングや検索がちゃんとできるか確認します。まずはインデキシング % cd apache-solr-nightly/example/exampledocs POST用スクリプトの修正ポート番号を適宜修正します。Tomcatのデフォルト…

2008-05-23

さくらインターネットに Solr をインストールする ( 3 ) いよいよ Solr をインストール

Solr さくらインターネット

Solrの正式版は2007/06からリリースされていないのですが開発中のはかなり進化しているのでそのnightly版を使います。ここではSolrはTomcatの上で動かします。 ( SolrにはJettyがバンドルされているのでTomcatなしで動かすこともできます。) Solr最新版の…

2008-05-22

さくらインターネットにSolrをインストールする ( 2 )　次にTomcat をインストール

Solr さくらインターネット

Tomcatをインストールします。 5.5.Xを入れます。 % wget http://ftp.kddilabs.jp/infosystems/apache/tomcat/tomcat-5/v5.5.26/bin/apache-tomcat-5.5.26.tar.gz % tar xvfz apache-tomcat-5.5.26.tar.gz % mv apache-tomcat-5.5.26 $HOME/local 起動、停止…

2008-05-22

さくらインターネットにSolrをインストールする ( 1 )　まずはJAVA ( JDK ) をインストール

Solr さくらインターネット

さくらインターネットはOSにFreeBSDを使っているので SUNのサイトからダウンロードできるJDKやJREは使えません。 FreeBSD用に親切な人がポーティングしてくれたのを使います。感謝！ダウンロードここからダウンロードします。 http:/www.freebsdfoundation…

2008-03-06

Solr 今月ちょっとクエリが増えてきたのでメモっとく

Solr

2008/03/03 497210 2008/03/01 626495 2008/03/02 508038 2008/03/04 510431 2008/03/05 551803ざっくり多い日で63万クエリ少ない日で50万クエリってとこですね。システム負荷をみると今のインフラでもこの倍ぐらいは無理なく処理できちゃいそうな感じで…

2008-03-04

Solrのレプリケーション系のスクリプトを動かすために、sshのパスワードなしログインの設定をしようと思ったのだけど、前にやった設定手順を結構忘れていたので今度はちゃんとメモっとく

CentOS Solr

手順をざっくり書くと 1) クライアント側でキーを作成する。 2) 公開鍵の方をサーバの~/.ssh/authorized_keys2に追記する。ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーここからは詳細手順。まずはクライアント側でキーを作成注意点は…

2008-02-28

jmeterでSolrのベンチマーク(の準備）をしたのでメモっとく

Solr

64ビット化したSolrマシンにはQuad CoreのXeon 2.66Gzが2個入ってます。 # 蛇足ですがtopでみるとCpu0〜Cpu7とCPUが8個あるように見えます。で、検索専用にこいつを3台使っているのですがブレードタイプなのでデータセンターに設置しています。オフィス環…

2008-02-27

Solrを動かすのになんで64ビットにしないといけなかったのか

Solr

SolrはTomcat上で動くサーブレットです。なので使えるメモリ(ヒープメモリ)の限界は TomcatがのっかっているJVMのメモリの制約で決まっちゃいます。ボクが使っていたSunの32bitJDK1.5.0.10は上限約2.6GBでした。じゃあSolrを動かすのにそれじゃダメなのか…

2008-02-26

CeontOS64ビット版にSolr環境作成中のメモ

CentOS Solr MySQL インストール

◆ アカウントの作成 # useradd solr # passwd solr NFS使ったときに他のNFSクライアントマシンとユーザID/グループIDが同じじゃないと塩梅がわるいので合わせとく # vi /etc/passwd # vi /etc/group # chown -R solr:solr /home/solr ディレクトリのオーナ…