2015-12-01から1ヶ月間の記事一覧

Jython から Kuromoji を使って形態素解析する メモ

kuromoji-0.7.7.jar に CLASSPATH を通しておく hoge.jy #!/usr/local/jython/bin/jython # -*- coding: utf-8 -*- from org.atilika.kuromoji import Tokenizer if __name__ == "__main__": parseWord = u"すもももももももものうち" builder = Tokenizer.b…

EC2 に GUI を使わないで コマンドラインだけで Jython をインストールする ヘッドレス メモ

jython-installer-2.7.0.jar を下記から ダウンロード http://www.jython.org/downloads.html $ sudo su - # java -jar /tmp/jython-installer-2.7.0.jar -c Welcome to Jython ! You are about to install Jython version 2.7.0 (at any time, answer c to …

出口ノード数

Tor

全世界で 7〜800 ぐらいでしょうか 日本は 1% ぐらいですねhttp://torstatus.blutmagie.de/network_detail.php

を使ってダークウェブをクローリングする

Tor + polipo の環境ができていれば 環境変数 http_proxy を設定しておくと Scrapy が読み取って Tor 経由のアクセスになってくれるようです export http_proxy=http://localhost:8123

から ダークウェヴを見てみる

polipo経由でTorに潜ることでPythonから.onionのダークウェヴを見てみます Pythonプログラム ⇛ Polipo(プロクシ : 8123) ⇛ Tor(親プロクシ) ⇛ hogehoge.onion #! /usr/bin/env python # coding=utf-8 # polipo 経由で Tor を使う import urllib2 url = "http…

EC2 インストールメモ

polipoは軽量なプロキシです これを経由することで SOCK に対応していないブラウザやクライアントアプリからも Torにアクセスできるようになります 以下は同じサーバに自前のTorサーバが動いていることが前提の設定です $ sudo yum --enablerepo=epel instal…

[AWS] EC2インストール メモ

$ sudo yum update $ sudo yum -y install gcc-c++ glibc-headers openssl-devel readline libyaml-devel readline-devel zlib zlib-devel libffi-devel libxml2 libxslt libxml2-devel libxslt-devel sqlite-devel $ sudo pip install --upgrade pip $ sudo…