Python

Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so.

参考ページ stackoverflow.com scikit-learn で LogisticRegression 実行中にエラーで Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so. mkl使わないようにする conda install nomkl numpy scipy scikit-learn numexpr conda remove mkl…

RemoveError: 'pyopenssl' is a dependency of conda and cannot be removed from conda's operating environment.が出た時にやったこと メモ

アップデートしたら conda update --all エラーが出た RemoveError: 'pyopenssl' is a dependency of conda and cannot be removed from conda's operating environment. 本体のアップデートやってから conda update --force conda もう一回 conda update --…

Windows10 に Selenium 環境を作る

下記を参考に構築 qiita.com conda install selenium Chrome のバージョンが 72 だったので下記から ChromeDriver 2.46 をダウンロードして解凍 chromedriver.chromium.org できたchromedriver_win32 フォルダ を以下にコピーしてパスを通した C:\Program Fi…

AWS EC2 に Selenium 環境作った メモ

下記を参考に構築 qiita.com > sudo su - # curl https://intoli.com/install-google-chrome.sh | bash Successfully installed google-chrome-stable, Google Chrome 72.0.3626.109 . 途中 エラーが出ても気にしない... # vim /etc/yum.repos.d/centos.repo…

Django MySQLdb の インポートでエラーなったときやったこと メモ

>python manage.py runserver django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module.Did you install mysqlclient? MySQLdb が欲しい libssl と libssl のバージョンがあってなかったらしい強引にあってるように見せかけた >cd /usr/…

Bash on Ubuntu on Windows BOW に Anaconda をインストールする

普通にLinuxにインストールするのと同じ 下記からインストーラゲット https://www.anaconda.com/download/#linux bash Anaconda3-2018.12-Linux-x86_64.sh yes yes no

PyCharm でコピペできない Ctrl+C Ctrl+V 効かない ときにやったこと

ファイル-> 設定 -> Vimエミュレーション Ctrl+C と Ctrl+V のハンドラーをIDEにする

UTF-8で作成したCSVをExcelで文字化けせずに開けるようにする方法

ExcelはBOM付きだとUTF-8だと判断できるらしい open するときに encoding='utf_8_sig' を指定する f = open( 'hoge.csv', 'w', encoding='utf_8_sig') writer = csv.writer(f, lineterminator='\n', dialect='excel', quotechar='"', uoting=csv.QUOTE_ALL)

Anaconda再インストールメモ

Jupyterが起動しなくなったのと、場当たり的にいろいろインストールしたり ごにょごにょしたりして、カオスになってしまっていたで整理のために再インストールした Anaconda アンインストール コントロールパネル -> プログラムと機能 -> Python 3.6.1(Anaco…

mojimoji をインストールしてエラーになったときにやったこと メモ

mojimoji を インストールした時、C++コンパイラがないとメッセージが出た error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools ここからダウンロ…

Windows10 に PySpark環境を構築 メモ ( Spark 2.3.1 Anaconda Hadoop )

1. Spark インストール https://spark.apache.org/downloads.html 1. Choose a Spark release: 2.3.1 (Jun 08 2018) 2. Choose a package type: Pre-built for Ppache Hadoop 2.7 and later 3. Download Spark: spark-2.3.1-bin-hadoop2.7.tgz 4. Verify thi…

[Pocket API] 試してみた

Webページからの本文抽出をするために Pocket の API を試してみました https://help.getpocket.com/ ライブラリのインストール pip install pocket-api プログラム from pocket import Pocket, PocketException import json url = 'https://www.yahoo.co.jp…

[Docomo] カテゴリ分析 clusteranalytics 試してみた

Docomo の カテゴリ分析 は 入力文からキーワード取得とカテゴリ分析を行い、文全体のカテゴリ分布を返してくれます https://dev.smt.docomo.ne.jp/?p=docs.api.page&api_name=language_analysis&p_name=jetrun_api_1#tag01 # Docomo カテゴリ分析 clusteran…

[Docomo] センシティブ分析 sensitivecheck 試してみた

Docomo の センシティブ分析 は文章に含まれる 武器、宗教、アダルトなど、センシティブ(敏感)とされるキーワードを検知してくれます https://dev.smt.docomo.ne.jp/?p=docs.api.page&api_name=language_analysis&p_name=jetrun_api_2#tag01 # Docomo セン…

[Goolge Cloud] Natural Language API 試してみる 感情分析 analyzeSentiment

感情分析 は文章全体の感情が ポジティブかネガティブかとその強度を推定してくれます import sys import requests import json content = U'逃げちゃダメだ。逃げちゃダメだ。逃げちゃダメだ。' ApiKey = "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX" url = 'https…

[Goolge Cloud] Natural Language API 試してみる エンティティ分析 analyzeEntities

エンティティ分析は文章から重要な固有名詞を取り出してくれます # エンティティ分析 analyzeEntities import sys import requests import json content = U'僕は、エヴァンゲリオン初号機のパイロット、碇シンジです!' ApiKey = "XXXXXXXXXXXXXXXXXXXXXXXX…

httplib2 で SSLHandshakeError: [SSL: CERTIFICATE_VERIFY_FAILED] が出るようなったときにやったこと gc2pe

変更したところ http = httplib2.Http(disable_ssl_certificate_validation=True)エラー httplib2.SSLHandshakeError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:661) 参考ページ https://github.com/google/google-api-python-c…

Solr6 Jython で フィードの前処理をする メモ

1. Jython のインストール Jython の スタンドアローン版を下記からダウンロード http://www.jython.org/downloads.html sudo mkdir /var/solr/data/コア名/lib sudo cp jython-standalone-2.7.0.jar /var/solr/data/コア名/lib sudo /etc/init.d/solr resta…

Jython から Kuromoji を使って形態素解析する メモ

kuromoji-0.7.7.jar に CLASSPATH を通しておく hoge.jy #!/usr/local/jython/bin/jython # -*- coding: utf-8 -*- from org.atilika.kuromoji import Tokenizer if __name__ == "__main__": parseWord = u"すもももももももものうち" builder = Tokenizer.b…

EC2 に GUI を使わないで コマンドラインだけで Jython をインストールする ヘッドレス メモ

jython-installer-2.7.0.jar を下記から ダウンロード http://www.jython.org/downloads.html $ sudo su - # java -jar /tmp/jython-installer-2.7.0.jar -c Welcome to Jython ! You are about to install Jython version 2.7.0 (at any time, answer c to …

から ダークウェヴを見てみる

polipo経由でTorに潜ることでPythonから.onionのダークウェヴを見てみます Pythonプログラム ⇛ Polipo(プロクシ : 8123) ⇛ Tor(親プロクシ) ⇛ hogehoge.onion #! /usr/bin/env python # coding=utf-8 # polipo 経由で Tor を使う import urllib2 url = "http…

Googleカレンダーをごにょごにょするときにインストールしたもの メモ

easy_install --upgrade google-api-python-client easy_install --upgrade pytz

import した モジュールで使える関数を調べる方法 dir() メモ

>>> import webdriverwrapper >>> dir(webdriverwrapper) ['ActionChains', 'Chrome', 'ChromeOptions', 'DesiredCapabilities', 'Firefox', 'F irefoxProfile', 'Ie', 'Opera', 'PhantomJS', 'Proxy', 'Remote', 'TouchActions', ' VERSION', '__builtins__…

Windows7 64bit に Selenium with Python をインストールした メモ

1. Python ダウンロード & クリック http://www.python.org/ftp/python/2.7.6/python-2.7.6.amd64.msi パスの設定 コントロールパネル=> システム => システムの詳細設定 => 環境変数 => Path C:\Python27;C:\Python27\Scripts を追記 2. setuptools ダウン…

プルダウンメニューの操作 メモ

from selenium.webdriver.support.ui import Select elem = driver.find_element_by_id( 'menu' ) select_obj = Select( elem ) select_obj.select_by_visible_text( u'男性' )

サブウィンドウでの処理 メモ

メニュー画面等、サブウィンドウが表示される場合の処理 # サブウィンドウに移動 driver.switch_to_window( driver.window_handles[ 1 ] ) # サブウィンドウでオペレーション driver.find_element_by_css_selector("input.rollover").click() driver.find_el…

2.7.3 [インストール] メモ

$ tar xvfz Python-2.7.3.tgz $ cd Python-2.7.3 $ CC=gcc CXX=g++ ./configure --prefix=/usr/local $ make $ su # make install

データ取得してみた

#!/usr/bin/env python # coding=utf-8 import gdata.analytics.service import datetime # データ取得期間 from_date = datetime.date(2012,1, 10) to_date = datetime.date(2012,1, 11) seekDay = datetime.timedelta( days = 1 ) # ログイン gas = gdata.…

CentOS 5.5 に Python 2.7.1 と mod_python をインストールしたときのメモ

Python のインストール tar xvfz Python-2.7.1.tgz cd Python-2.7.1 ./configure CFLAGS=-fPIC --enable-shared --prefix=/usr/local vi Modules/Setup 以下をコメントをはずす zlib zlibmodule.c -I$(prefix)/include -L$(exec_prefix)/lib -lz make (zlib …

長すぎる文字列を正規化するとセグメンテーションエラー ( segmentation fault ) になることがあるようです

全角半角の表記揺れの正規化に便利な unicodedata モジュールですが 入力する文字列が長すぎると セグメンテーションエラー ( segmentation fault ) になることがあるようです # 下記の場合 Inhoge が長い Outhoge = unicodedata.normalize('NFKC', Inhoge)…