2017-10-19から1日間の記事一覧

pyspark を Windows10 にインストール

Anaconda Prompt(py27) を起動 pip install pyspark 環境変数 PYSPARK_DRIVER_PYTHON=jupyter-notebook C:\Users\hoge\Anaconda3\envs\py27\Scripts\pyspark2.cmd を編集 rem Figure out where the Spark framework is installed rem set SPARK_HOME=%~dp0..…

Apache Spark を Windows10 にインストールして上手くいかなかったときにやったこと

Spark をダウンロードして解答する tgz http://spark.apache.org/downloads.html winutils.exe をダウンロードして Spark の bin ディレクトリに置く https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe この後、起動が…