MySQL

Django MySQLdb の インポートでエラーなったときやったこと メモ

>python manage.py runserver django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module.Did you install mysqlclient? MySQLdb が欲しい libssl と libssl のバージョンがあってなかったらしい強引にあってるように見せかけた >cd /usr/…

5.5 文字化け対策

$ sudo vi /etc/my.cnf [client] default-character-set=utf8 [mysql] default-character-set=utf8 [mysqld] character-set-server=utf8 mysql> show variables like "char%"; +--------------------------+----------------------------+ | Variable_name |…

メモ 5.5.28

# yum install cmake # groupadd mysql # useradd -m mysql -g mysql -d /home/mysql # passwd mysql $ tar xvfz mysql-5.5.28.tar.gz $ cd mysql-5.5.28 $ su # cmake . -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATI…

MySQL-python のインストールで怒られたときにやったこと

_mysql.c:36:23: error: my_config.h: そのようなファイルやディレクトリはありません _mysql.c:38:19: error: mysql.h: そのようなファイルやディレクトリはありません _mysql.c:39:26: error: mysqld_error.h: そのようなファイルやディレクトリはありませ…

Jython から MySQL を使う方法

Jython プログラム mytest.jy #! /usr/local/jython2.5.1/jython # -*- coding: utf-8 -*- import com.ziclix.python.sql as sql if __name__ == "__main__": db = sql.zxJDBC.connect( "jdbc:mysql://localhost/データベース名", "ユーザ名", "パスワード",…

ERROR 1206 (HY000): The total number of locks exceeds the lock table size が出たときの対応

UPDATE 文の実行中にエラーが出た。 "ERROR 1206 (HY000): The total number of locks exceeds the lock table size" InnoDB で UPDATE 文実行のためのバッファサイズが小さいらしい。 /etc/my.cnf に innodb_buffer_pool_size = 512M を追加 $ /etc/init.d/…

root 権限なしで インストール

ホスティングやレンタルサーバなどで root 権限がないときの MySQL のインストールメモ ホームディレクトリ/local/mysql にインストール % tar xvfz mysql-5.0.75.tar.gz % cd mysql-5.0.75 % ./configure --prefix=/home/search/local/mysql --with-mysqld-…

Wikipedia のテキストデータを使ってベンチマークをする! その7 ロードバランサー( haproxy ) を使って Solr 2台構成にしてみた!

前回の [Solr][MySQL] Wikipedia のテキストデータを使ってベンチマークをする! その6 Solr は MySQL より 200倍速い!からSolrのサーバを1台増加させた2台構成にして性能の変化をみてみました。 前回から変わった計測条件 16スレッド×50ループの800クエリを…

Wikipedia のテキストデータを使ってベンチマークをする! その6 Solr は MySQL より 200倍速い!

JMeter を使って負荷試験をしてみました。 やってみたこと Wikipedia のページタイトルから検索ワードを選定 選定ルール ページタイトルから記号を含まないものだけを抽出。記号は検索式で様々な意味を持つのでそれを含まないものを選ぶ。 それらをユニーク…

Wikipedia のテキストデータを使ってベンチマークをする! その5 Solr と MySQL でざっくり速度対決

せっかく Solr にデータが入ったので軽く検索速度の比較をしてみました。 比較してみたこと Solr と MySQL それぞれで「ロボット」で検索する ヒットする記事の数と記事10件の取得時間を調べる。 Solr、MySQL ともに設定パラメータはデフォルトのまま Solr …

Wikipedia のテキストデータを使ってベンチマークをする! その4 データインポートハンドラ( DIH Data Import Handler ) を使って Solr にデータを入れる

MySQL に入れておいた WikiPedia のデータを Solr に入れます。 WikiPedia のデータを MySQL に入れる方法は↓ [Solr][MySQL] Wikipedia のテキストデータを使ってベンチマークをする! その2 Wikipedia のテキストデータを MySQL に入れる Solr のスキーマ設…

Wikipedia のテキストデータを使ってベンチマークをする! その3 Solr のスキーマ設計

WikiPediaのデータを入れるための Solr のスキーマ設計です。 Wikipedia のデータ構成 [Solr][MySQL] Wikipedia のテキストデータを使ってベンチマークをする! その2 Wikipedia のテキストデータを MySQL に入れるで MySQL に入れた Wikipedia のデータ構造…

Wikipedia のテキストデータを使ってベンチマークをする! その2 Wikipedia のテキストデータを MySQL に入れる。

Wikipedia のデータを取得してMySQLに入れます。 Wikipedia のデータ構成 MySQL に入れる Wikipedia のデータ構造は以下の用になります。 フィールドの詳細については以下を参照してください。 http://www.mediawiki.org/wiki/Page_table/ja#page_title http…

Wikipedia のテキストデータを使ってベンチマークをする! その1 思い立ったこと

テキスト検索のベンチマークをしたいと思い立ちました。 テストデータにはWikipediaのデータを使おうと思います。 現在 日本語Wikipediaのページ数は約130万ページです。 Solrに入れるときには1ページ1ドキュメントになるので 130万ドキュメントのインデック…

MySQLで DDL を表示する方法

何回もやってるんだけど忘れちゃうのでメモ MySQLで DDL を表示する方法 mysql> show create table permalink;

Caused by: java.sql.SQLException: Value '0000-00-00' can not be represented as java.sql.Date の対応方法

zeroDateTimeBehavior=convertToNull を付ける。 JDBCドライバの中で'0000-00-00'がNULLに置換される。 <dataSource driver="org.gjt.mm.mysql.Driver" url="jdbc:mysql://localhost/hoge?zeroDateTimeBehavior=convertToNull" user="hoge" password="hoge!" useUnicode="true" characterEncoding="UTF-8" /></datasource>

DELETE 文で 複数の表の参照結果を使ってレコードを削除するひとつの方法

DELETE TableA FROM TableA, TableB WHERE TableA.code=TableB.code AND TableA.type=TableBtype

UPDATE 文 で 自己相関型サブクエリを使う ひとつの方法

MySQL のマニュアルに下記の記述があります 「サブクエリは SELECT ステートメントと同じく、UPDATE ステートメントや DELETE ステートメントでも正式に使用できるので、UPDATE ステートメント内の割り当てにサブクエリを使用しても問題ありません。 しかし…

テーブルのディスクサイズを調べる方法

mysql> show table status from データベース名; Data_lengthがテーブルで使用しているディスクのサイズです。 単位はバイト ではでは

パーディションがパッツンパッツンになったのでmysql一式を他のパーティションに移した。

パーディションがパッツンパッツンになったのでmysql一式を他のパーティションに移しました。500GBなんてあっという間に使っちゃいます。 # 納品直前で忙しいのに... 以下、手順のメモ % su # cp -r /usr/local/mysql /disk2/local # mv /usr/local/mysql /u…

MySQLで実行中のSQLを殺す方法。ロック対策とか

mysql> show processlist; mysql> kill 1293; ではでは

テーブルのコピー

to_table から from_table にコピーする場合。 to_table を作る。( CREATE TABLE 文を実行する ) テーブルの構造がわからない場合は SHOW COLUMNS FROM from_table コピーを実行する。 INSERT INTO `to.db`.`to_table` SELECT * FROM `from_db`.`from_db`; …

MySQLのバックアップとリストアの方法をすぐ忘れるのでメモっとく

バックアップ % mysqldump -uhoge_id -phoge_pw -hhoge_host hoge_db > hoge_db.sql % gzip hoge_db.sql リストア % gunzip hoge_db.sql % mysql -uhoge_id -phoge_pw -hhoge_host hoge_db hoge_db.sql ではでは

MySQLの文字化け問題で参考になったのでメモっとく

MySQLといえば文字化けです。 4.1以降の文字化け問題は、 MySQLが内部で文字コードの変換をしようとすることから 発生するようです。 参考ページ http://wota.jp/ac/?date=20061011 対策は ★MySQLの文字コードをあらゆるパラメータで統一する。 ('SET NAMES …

MacBook Air SSHトンネリングでMySQL使おうと思ったら軽くハマったのだけれど解決したのでメモっとく

まずはトンネル採掘 % ssh -2 -N -f -L 43306:192.168.11.246:3306 mysql.a.b.c 2:SSH2 N:トンネリングだけでコマンドの実行なーし f:バックグランドで実行 L:ローカルホストの43306を192.168.11.246の3306に転送する 最後はログイン先のホスト ここまでは順…

CeontOS64ビット版にSolr環境作成中のメモ

◆ アカウントの作成 # useradd solr # passwd solr NFS使ったときに他のNFSクライアントマシンと ユーザID/グループIDが同じじゃないと塩梅がわるいので合わせとく # vi /etc/passwd # vi /etc/group # chown -R solr:solr /home/solr ディレクトリのオーナ…