github.com github.com ライブドアコーパスの記事分類性能がトークナイザーの種類によって変わるのか試す実験の続き。今回は SentencePiece でやってみた SentencePiece はディープラーニングでの利用を前提に作られているのだけれど、ロジスティック回帰等…

ライブドアコーパスの記事分類で、トークナイザー をGiNZA、Sudachi、MeCab+NEologdで変更しながら分類精度の差を調べてみた 結論 ： 多少の凸凹はあるものの有意な差はなさそう 分類方法は Bag of Words ＋ ロジスティック回帰 GiNZA、Sudachi、NEologdのバ…

ohke.hateblo.jp 上記ページを参考に Sudachi をインストール $ cd /home/ec2-user/work ← このディレクトリのsrc以下にインストールされる $ pip install -e git+git://github.com/WorksApplications/SudachiPy@develop#egg=SudachiPy $ pip list | grep su…

AWS の EC2 の場合はインスタンスタイプを medium (4GB) 以上で実行する こちらも NEologd 同様 small (2GB) だとメモリ不足でエラーになった $ pip install "https://github.com/megagonlabs/ginza/releases/download/latest/ginza-latest.tar.gz" $ ginza …

AWS の EC2 の場合はインスタンスタイプを medium (4GB) 以上で実行する small (2GB) だとメモリ不足でエラーになった sudo su - cd /usr/local/src/ git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git cd mecab-ipadic-neologd ./b…

Colaboratory で TPU を使う場合、ファイル出力は GCS にしかできない CPUならGoogle DriveでもOKGCSバケットの作り方 https://console.cloud.google.com/ 左上「三」からメニューを表示して ストレージ.Storage を選択 「課金を有効にする」をクリック アカ…

上ナビ 「ランタイム」 「ランタイムのタイプを変更」 「ハードウェアアクセラレータ」 : TPU 保存 ※1) GPUを使う場合も手順は同じ。「ハードウェアアクセラレータ」でGPUを選ぶ ※2) Googleドライブのマウントはやり直す必要がある

# Googleドライブのマウント from google.colab import drive drive.mount('/content/drive')表示されるURLをクリック アカウントを選択 許可 表示されるコードをコピー Enter your authorization code: に張り付ける Mounted at /content/drive が表示され…

techblog.nhn-techorus.com上記参考ページを見ながら Colaboratory で実行するために一部変更しながら BERT を動かしてみた # BERT のダウンロード !git clone https://github.com/google-research/bert # BERT 学習済みモデルのダウンロード !wget https://…

sudo yum remove cmake wget wget https://cmake.org/files/v3.14/cmake-3.14.4.tar.gz tar -xvzf cmake-3.14.4.tar.gz cd cmake-3.14.4 ./bootstrap make sudo make install

ディレクトリの作成はUIからはできないっぽいので、プログラムから作成するか既存のディレクトリを使う sample_data というディレクトリがデフォルトである アップロードしたファイルは時間が来ると削除される模様qiita.com

実行方法 % load_ext tensorboard.notebook% tensorboard --logdir ログディレクトリ これで TensorBoard がインライン表示される

#!/bin/bash -x SERVER='127.0.0.1' PORT='9200' INDEX='index' TYPE='type' curl -XPOST "http://$SERVER:9200/$INDEX/$TYPE/_delete_by_query?conflicts=proceed&pretty" -d '{ "query": { "match_all": { } } }'

参考ページ stackoverflow.com scikit-learn で LogisticRegression 実行中にエラーで Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so. mkl使わないようにする conda install nomkl numpy scipy scikit-learn numexpr conda remove mkl…

アップデートしたら conda update --all エラーが出た RemoveError: 'pyopenssl' is a dependency of conda and cannot be removed from conda's operating environment. 本体のアップデートやってから conda update --force conda もう一回 conda update --…

参考ページ www.elastic.co #!/bin/bash -x SERVER='hoge.hoge.com' PORT='9200' INDEX='index' TYPE='type' curl -X PUT http://$SERVER:$PORT/$INDEX/$TYPE/_mapping?pretty -d ' { "properties" : { "new_field1" : { "type" : "keyword" }, "new_field2"…

推定してみるページ その1 www.min-inuzukan.com 推定してみるページ その2 www.instagram.com 結果 : 動物だけだと簡単すぎたかも... みんなの犬図鑑 - トイプードル 0.png ← その１のページ ('n02113624', 'toy_poodle', 0.9494451) ('n02113712', 'miniat…

下記を参考に構築 qiita.com conda install selenium Chrome のバージョンが 72 だったので下記から ChromeDriver 2.46 をダウンロードして解凍 chromedriver.chromium.org できたchromedriver_win32 フォルダ を以下にコピーしてパスを通した C:\Program Fi…

下記を参考に構築 qiita.com > sudo su - # curl https://intoli.com/install-google-chrome.sh | bash Successfully installed google-chrome-stable, Google Chrome 72.0.3626.109 . 途中 エラーが出ても気にしない... # vim /etc/yum.repos.d/centos.repo…

>python manage.py runserver django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module.Did you install mysqlclient? MySQLdb が欲しい libssl と libssl のバージョンがあってなかったらしい強引にあってるように見せかけた >cd /usr/…

Kibana の ダッシュボードに グラフ等を表示する場合には まず Visualize で グラフそれぞれを作ってから Dashboard で配置しますが 検索結果一覧は Visualize ではなく Discover で作成します 1) Discover で 対象の Index Pattern を選んだあと ページ上部…

普通にLinuxにインストールするのと同じ 下記からインストーラゲット https://www.anaconda.com/download/#linux bash Anaconda3-2018.12-Linux-x86_64.sh yes yes no

elasticdump を実行して出たエラー /usr/local/lib/node_modules/elasticdump/bin/elasticdump:69 for (var i of jsonParsedOpts) { ^^ SyntaxError: Unexpected identifier at Module._compile (module.js:439:25) at Object.Module._extensions..js (modul…

合格しました！日本ディープラーニング協会にジェネラリストとして認定されました G検定公式テキスト3回読んでチャレンジしたらなんとか合格できました 機械学習の手法についてはあらかじめ多少理解できていたのも良かったようです

from + size の合計で 1万が上限らしい パラメータをいじると上限変えられるらしいけど、根本的な解決にならないのでメッセージ通りscrollを使ってみる elasticsearch.exceptions.TransportError: TransportError(500, 'search_phase_execution_exception', …

ファイル-> 設定 -> Vimエミュレーション Ctrl+C と Ctrl+V のハンドラーをIDEにする

sample.dat がない。もしくは0バイトのときは、別のPCで sample.py を実行して sample.dat を作ってコピーする

ExcelはBOM付きだとUTF-8だと判断できるらしい open するときに encoding='utf_8_sig' を指定する f = open( 'hoge.csv', 'w', encoding='utf_8_sig') writer = csv.writer(f, lineterminator='\n', dialect='excel', quotechar='"', uoting=csv.QUOTE_ALL)

Docker for Windows をインストール https://www.docker.com/docker-windowsDownload for WindowsPlease Login To Download # ↓ アカウントがない場合 Create AccountDockerID、 Email、 Passwordを入力チェックボックスはすべてチェックするSign Upメールが…

PowerShell を管理者権限で起動して以下実行 Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Hyper-V -All この操作を完了するために、今すぐコンピューターを再起動しますか? [Y] Yes [N] No [?] ヘルプ (既定値は "Y"):Y Windows管理ツー…