1. インストール コマンドプロンプトを起動 PowerShell -Command "& {Invoke-WebRequest http://dl.embulk.org/embulk-latest.jar -OutFile embulk.bat}" > d: <- Dドライブにインストールする場合 > mkdir embulk > cd embulk > copy C:\Users\hoge\embulk.…

$SPARK_HOME/conf/spark-defaults.conf を 編集する spark.driver.memory 20g

Anaconda Prompt(py27) を起動 pip install pyspark 環境変数 PYSPARK_DRIVER_PYTHON=jupyter-notebook C:\Users\hoge\Anaconda3\envs\py27\Scripts\pyspark2.cmd を編集 rem Figure out where the Spark framework is installed rem set SPARK_HOME=%~dp0..…

Spark をダウンロードして解答する tgz http://spark.apache.org/downloads.html winutils.exe をダウンロードして Spark の bin ディレクトリに置く https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe この後、起動が…

↓を参考に4つのキーを取得したhttp://wepicks.net/twitter-restapi-tmhoauth/#item2-1 Consumer Key (API Key) Consumer Secret (API Secret) Access Token Access Token SecretURLが必要になるので 適当なURLがない場合は SNS のアカウントなどを使う

↓ を参考に MongoDB をインストールhttp://testpy.hatenablog.com/entry/2017/09/23/214957インストールしたらPC再起動するか Windowsメニュー -> Windows管理ツール -> コンピュータの管理 サービスとアプリケーション -> サービス -> MongoDB -> 開始 Anco…

1. スタートメニュー -> Anaconda3(64bit) -> Anaconda Prompt 2. conda コマンドで Python 2.7 環境を作る Anaconda も一緒にインストールする conda create -n py27 python=2.7 anaconda # Python 2.7 環境は以下にインストールされる C:\Users\hoge\Anaco…