2016-01-01から1年間の記事一覧

5.5 文字化け対策

$ sudo vi /etc/my.cnf [client] default-character-set=utf8 [mysql] default-character-set=utf8 [mysqld] character-set-server=utf8 mysql> show variables like "char%"; +--------------------------+----------------------------+ | Variable_name |…

インストール メモ

Fluentd はサーバ、クライアント間の通信にTCPとUDPの両方を使う セキュリティグループの設定では忘れないように!ログは /var/log/td-agent/td-agent.log に出る 1) Fluentd クライアント # curl -L http://toolbelt.treasuredata.com/sh/install-redhat-td…

SMTPサーバを指定してメールを送信する

メールクライアント メールサーバのIPアドレスを登録 $ vi ~/.mailrc set smtp=smtp://x.x.x.x:25 メールサーバ メールクライアントのIPアドレス追加 # vi /etc/postfix/main.cf mydestination = $myhostname, ・・・, y.y.y.y # service postfix reload

Solr6 Jython で フィードの前処理をする メモ

1. Jython のインストール Jython の スタンドアローン版を下記からダウンロード http://www.jython.org/downloads.html sudo mkdir /var/solr/data/コア名/lib sudo cp jython-standalone-2.7.0.jar /var/solr/data/コア名/lib sudo /etc/init.d/solr resta…

Amazon Linux に Solr 6.2.1 インストール

インストール wget http://ftp.jaist.ac.jp/pub/apache/lucene/solr/6.2.1/solr-6.2.1.tgz tar xvfz solr-6.2.1.tgz sudo solr-6.2.1/bin/install_solr_service.sh solr-6.2.1.tgz sudo vi /etc/default/solr.in.sh JAVA_HOME="/usr" コアの作成とサンプルデ…

BASIS TECHNOLOGY の Rosette と Kuromoji で すもももももももものうち やってみた メモ

#!/usr/local/jython/bin/jython # -*- coding: utf-8 -*- # Kuromoji と Rosette のパース対決 # Kuromoji from com.atilika.kuromoji.unidic import Tokenizer # BASIS TECHNOLOGY Rosette from com.basistech.util import Pathnames from com.basistech.u…

No results found になったときにやったこと メモ

画面右上の時計アイコンから、データの日時の範囲の指定を変更するデフォルトは Last 15 minutes になっているので 15分以上前のデータしかなければ 下記メッセージが出てグラフは表示されない No results found Unfortunately I could not find any results…

インストールメモ

$ wget https://download.elastic.co/kibana/kibana/kibana-4.5.3-linux-x64.tar.gz $ tar xvfz kibana-4.5.3-linux-x64.tar.gz $ cd kibana-4.5.3-linux-x64/bin $ kibana ブラウザから下記にアクセス http://hoge:5601/

自然言語処理環境を作った メモ

AWS

Java のバージョンアップ $ sudo yum -y install java-1.8.0-openjdk-devel $ sudo alternatives --config java Jython インストール $ wget http://search.maven.org/remotecontent?filepath=org/python/jython-installer/2.7.0/jython-installer-2.7.0.jar…

の バージョンアップ メモ

Jython 付属の pip で エラーになったので OpenJDK の バージョンを上げた $ sudo yum -y install java-1.8.0-openjdk-devel $ sudo alternatives --config java

を使う

Jython の pip を使ってインストール $ sudo /usr/local/jython/bin/pip install elasticsearch $ jython Jython 2.7.0 (default:9987c746f838, Apr 29 2015, 02:25:11) [OpenJDK 64-Bit Server VM (Oracle Corporation)] on java1.7.0_101 Type "help", "co…

ICU で 文字列の正規化を行う

インストール $ wget http://download.icu-project.org/files/icu4j/55.1/icu4j-55_1-docs.jar $ vi ~/.bash_profile export CLASSPATH=$CLASSPATH:/hoge/icu4j-55_1.jar #!/usr/local/jython/bin/jython # -*- coding: utf-8 -*- from com.ibm.icu.text imp…

で UniDic 使う

1. make 環境 インストール $ sudo yum -y install gcc-c++ glibc-headers openssl-devel readline libyaml-devel readline-devel zlib zlib-devel libffi-devel libxml2 libxslt libxml2-devel libxslt-devel sqlite-devel 2. mvn インストール $ sudo wget…

EC2 に Maven をインストールする メモ

AWS

$ sudo wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo $ sudo sed -i s/\$releasever/6/g /etc/yum.repos.d/epel-apache-maven.repo $ sudo yum install -y apache-mave…

EC2にクラスターを作成する メモ

1. n台のEC2を用意し、それぞれに Elasticsearch をインストールする VPC 、 セキュリティグループは同じにする アベイラビリティゾーンはコスト優先なら同じにする 可用性を優先するならゾーンをまたいだほうがいい 2. セキュリティグループ内で 9300 の相…

2年半ぶりにインストールしてみた メモ

1. Elasticsearch インストール $ wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.3/elasticsearch-2.3.3.tar.gz $ tar xvfz elasticsearch-2.3.3.tar.gz $ cd elasticsearch-2.3.3/bin $ .…

Webクロールをリンクをたどって再帰的に行う場合にはホップフィルタを設定する

デフォルトではホップ数が指定されていないので再帰的なクロールがされない シードで指定したURLのみがクロールされる再帰的にクロールするためには最大ホップ数を指定するJobの編集ページから ホップフィルタ タブを選びタイプの最大ホップ数 'link': に最…

Mac iTerm iTerm2 右クリックでペーストできるようにする

iTerm -> Preferences -> Pointer ( 上の方にある ) Right button single click : Paste from clipboard Middle button single click : Open Context Menu 以上