Elasticsearch

Elasticsearch のインデックスを全件削除して空にする

#!/bin/bash -x SERVER='127.0.0.1' PORT='9200' INDEX='index' TYPE='type' curl -XPOST "http://$SERVER:9200/$INDEX/$TYPE/_delete_by_query?conflicts=proceed&pretty" -d '{ "query": { "match_all": { } } }'

Elasticsearch 既存のスキーマにフィールドを追加する

参考ページ www.elastic.co #!/bin/bash -x SERVER='hoge.hoge.com' PORT='9200' INDEX='index' TYPE='type' curl -X PUT http://$SERVER:$PORT/$INDEX/$TYPE/_mapping?pretty -d ' { "properties" : { "new_field1" : { "type" : "keyword" }, "new_field2"…

「Python] from size を使って全権取得しようとしたら、1万件までしかムリと言われたので仕方なく scroll を使った時の メモ

from + size の合計で 1万が上限らしい パラメータをいじると上限変えられるらしいけど、根本的な解決にならないのでメッセージ通りscrollを使ってみる elasticsearch.exceptions.TransportError: TransportError(500, 'search_phase_execution_exception', …

を使う

Jython の pip を使ってインストール $ sudo /usr/local/jython/bin/pip install elasticsearch $ jython Jython 2.7.0 (default:9987c746f838, Apr 29 2015, 02:25:11) [OpenJDK 64-Bit Server VM (Oracle Corporation)] on java1.7.0_101 Type "help", "co…

EC2にクラスターを作成する メモ

1. n台のEC2を用意し、それぞれに Elasticsearch をインストールする VPC 、 セキュリティグループは同じにする アベイラビリティゾーンはコスト優先なら同じにする 可用性を優先するならゾーンをまたいだほうがいい 2. セキュリティグループ内で 9300 の相…

2年半ぶりにインストールしてみた メモ

1. Elasticsearch インストール $ wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.3/elasticsearch-2.3.3.tar.gz $ tar xvfz elasticsearch-2.3.3.tar.gz $ cd elasticsearch-2.3.3/bin $ .…

オプティマイズ 方法

$ curl -XPOST 'http://localhost:9200/_optimize

で ファイルを開きすぎです ( Too many open files ) になって対応した時のメモ

logstash を起動するユーザのオープンできるファイル数の上限を変更する $ ulimit -n 1024 <- 現在オープンできるファイル数の上限 # vi /etc/security/limits.conf ユーザ名 soft nofile 32000 <- 追記 ユーザ名 hard nofile 32000 <- 追記 ログインしなお…