2019-08-01から1ヶ月間の記事一覧

bert-japanese 試してみた

github.com事前学習タイプのBERTを日本語向けにチューンした bert-japanese を試してみた 上のページのサンプルを実際に Google Colaboratory で実行してみた 結論 Bag of Words + ロジスティック回帰と比較して 良いところ 平均で precision +2ポイント、re…

ライブドアコーパスの記事分類を トークナイザーを変更しながらやってみる その2 SentencePieceでもやってみた

github.com github.com ライブドアコーパスの記事分類性能がトークナイザーの種類によって変わるのか試す実験の続き。今回は SentencePiece でやってみた SentencePiece はディープラーニングでの利用を前提に作られているのだけれど、ロジスティック回帰等…