分け合ってMeCabのインストールです。 MeCabのインストール % wget http://downloads.sourceforge.net/mecab/mecab-0.97.tar.gz % tar xvfz mecab-0.97.tar.gz % cd mecab-0.97/ % ./configure % make % su $ make install 辞書 ipadic2.7.0 のインストール …

Penのログをローテートするためのスクリプトです。man penに書いてある以下を参考に作りました。 Sending pen a HUP signal will make it close and reopen the logfile, if logging is enabled, and reload the configuration file. Rotate the log like th…

Penは便利なポート中継器なんですが、ログのフォーマットが(たぶんいろんな理由があってそうなっているとは思うのですが)ボクにはちょっと使いにくいところがありました。 タイムスタンプが、いわゆるグリニッジ標準時で1970年1月1日0時0分0秒からの経過時間…

ボクが使っている起動スクリプトです。参考になれば幸いです。 make install で penをインストールすればマニュアルも一緒にインストールされるはずなので詳細は man pen で補足してください。 #!/bin/sh export PEN_HOME=/home/hoge/pen export DAEMON=/usr…

penはロードバランシングをしてくれるオープンソースなソフトです。 単純なラウンドロビンだけなのですが結構便利に使えます。リバースプロクシとしても使えます。 インストール方法 1) ftp://siag.nu/pub/pen/から最新ダウンロード＆解凍 2) 後は以下でおｋ…

最近、複数人でWordの文章を書いているのですが、ボク以外の人はWindowsのWordで書いているので、フォントの違いによるズレとかあれやこれやの無駄な作業が発生しないように、BootCampで起動してWindowsのWordを使ってます。で、ありがちなんですがキーバイ…

SolrやFASTやオートノミーといった全文検索エンジンとMySQLやPostgreSQLやOracle等のいわゆるRDBMSと比較してなにが違うのか、導入するとどんなメリットがあるのかといったことをよく聞かれます。最初に説明するのは次の3つです。 検索速度があがります 名前…

Solrって？ Solrはオープンソースの検索エンジンです。 JAVAで記述されていてサーブレットとして実装されています。TomcatやJettyなどのサーブレットコンテナの上で動きます。 Apacheプロジェクトで開発が進められています。 http://lucene.apache.org/solr/…

ついにCJKAnalyzerを使って Solrに日本語ドキュメントをインデキシングするときが来ました。 ココまでくるとデータをPOSTするだけなのですが ただPOSTするだけだとつまらないのでCSVファイルをPOSTする方法を紹介します。 Solrにインデキシングするには XML…

CJKAnalyzerにパッチを当てたら 早速日本語ドキュメントのインデキシングをしたいところなのですが その前にスキーマ定義です。 テストデータとして芸能人ブログのリストを使います。 URL,bloger,title http://ameblo.jp/kamijiyusuke/,上地雄輔,オフィシャ…

SolrのCJKAnalyzerは内部でLuceneのCJKAnalyzerを利用しているのですが 実はこまったことにこのLuceneのCJKAnalyzerには重大なバグがあります。 まともに検索できません... http://issues.apache.org/jira/browse/LUCENE-973 ここに日本人のToru Matsuzawaさ…

日本語は英語などのように単語が空白で分離されていないので、 インデキシングしたり検索したりするためには、 日本語の文章をなんとかして単語に分割する必要があります。 これを一般にトークナイズ( Tokenize )といいます。 このやりかたには辞書を使う形…

作ったツールをリポジトリに追加する hogeToolはツールの入ったディレクトリ % svn import hogeTool https://010.13.167.36/repos/solr/solr-util/hogeTool 新しいツールをリポジトリから取り出す % svn checkout https://010.13.167.36/repos/solr/solr-uti…

Solrで日本語ドキュメントのインデキシングと検索をするための環境設定をします。 SolrというよりTomcatの日本語環境設定といった方が近いかもしれませんが。 文字コードにUTF-8を使用しています。 server.xmlの設定 ＄TOMCAT_HOME/conf/server.xmlに以下を…

今日、公開になったFireFox3.0入れてみました。 描画速度はホントにはやくなってます。 Windowsだけでなく、 Mac でもはやくなってます。 エラいぞ FireFox のがんばった人たち ではでは

Office 2008 の Excel が動かなくなりました。 起動すると Mac ごとフリーズしちゃいます。電源ボタン長押ししか受け付けてくれません。 復旧までにあれこれやってみたことをメモっときます。 データベースを再構築する。 Officeの中にデータベースがあって…

F4キーを押すと表示されるダッシュボード。 デフォルトではここに天気予報を出すガジェット ACCU Weather が入っていると思います。 が、こいつがうまく表示されません。 ボクのは最初 TOKYO と入っていたのですが そんな場所知らねーよてきなメッセージがで…

Solrの配布パッケージに入っているテストデータを使って インデキシングや検索がちゃんとできるか確認します。 まずはインデキシング % cd apache-solr-nightly/example/exampledocs POST用スクリプトの修正 ポート番号を適宜修正します。Tomcatのデフォルト…

Solrの正式版は2007/06からリリースされていないのですが 開発中のはかなり進化しているのでそのnightly版を使います。 ここではSolrはTomcatの上で動かします。 ( SolrにはJettyがバンドルされているのでTomcatなしで動かすこともできます。) Solr最新版の…

Tomcatをインストールします。 5.5.Xを入れます。 % wget http://ftp.kddilabs.jp/infosystems/apache/tomcat/tomcat-5/v5.5.26/bin/apache-tomcat-5.5.26.tar.gz % tar xvfz apache-tomcat-5.5.26.tar.gz % mv apache-tomcat-5.5.26 $HOME/local 起動、停止…

さくらインターネットはOSにFreeBSDを使っているので SUNのサイトからダウンロードできるJDKやJREは使えません。 FreeBSD用に親切な人がポーティングしてくれたのを使います。感謝！ ダウンロード ここからダウンロードします。 http:/www.freebsdfoundation…

バックアップ % mysqldump -uhoge_id -phoge_pw -hhoge_host hoge_db > hoge_db.sql % gzip hoge_db.sql リストア % gunzip hoge_db.sql % mysql -uhoge_id -phoge_pw -hhoge_host hoge_db hoge_db.sql ではでは

0. 環境変数の設定 % vi ~/.cshrc setenv LANG UTF-8 UTF-8ってしてたんだけどこれじゃダメらしい。 setenv SVN_EDITOR vi 1. サーバローカルでのテスト リポジトリの作成 % svnadmin create svn_repos テスト用のディレクトリとファイルの作成 % mkdir test…

0.前提条件 インターネットからダウンロードしたファイルは$HOME/downloadに置いている 一般的に/usr/localに置かれるファイルは$HOME/localに置いている 1. まずはSWIGのインストール % cd $HOME/download % wget http://prdownloads.sourceforge.net/swig/…

MySQLといえば文字化けです。 4.1以降の文字化け問題は、 MySQLが内部で文字コードの変換をしようとすることから 発生するようです。 参考ページ http://wota.jp/ac/?date=20061011 対策は ★MySQLの文字コードをあらゆるパラメータで統一する。 ('SET NAMES …

Xcode を入れて gcc が使えるようになったので 早速 nkf をインストールしました。 nkfは文字コードを変換するツールです。 MacBook Airの文字コードはUTF-8なのですが Mac版のMSオフィスの文字コードはなぜかSJISです。 Windows版との互換性を重視している…

ログイン telnet hoge ユーザIDはない。パスワードのみ入れる。 ログアウト > logout telnet スナップショットの削除 > snap delete ボリューム名 スナップショット名 スナップショットのボリューム毎強制削除 > snap delete -a -f ボリューム名 スナップシ…

http://developer.apple.com/tools/download/ からダウンロードしてインストールする。 事前に ADC Online Member への登録が必要。無料。 ではでは

MacPorts をインストールしました。 MacPorts は yum みたいなやつです。 http://trac.macosforge.org/projects/macports/browser/downloads/MacPorts-1.5.0/MacPorts-1.5.0-10.5.dmg から "downloading" をクリックしてダウンロードします。 後はいつものよ…

ボクは普段 Windwos PCのバックアップは 全くといっていいほど取っていません。 半年毎ぐらいにフォーマットして OS再インストールしてるぐらいで ディスクの中はほとんど OS + ソフト です。 開発した成果物はLinuxサーバ上にあるし MSオフィス等で作ったド…