ライブドアコーパスの記事分類を トークナイザー を変更しながらやってみた

ライブドアコーパスの記事分類で、トークナイザー をGiNZA、Sudachi、MeCab+NEologdで変更しながら分類精度の差を調べてみた
結論 ： 多少の凸凹はあるものの有意な差はなさそう

分類方法は Bag of Words ＋ ロジスティック回帰
GiNZA、Sudachi、NEologdのバージョンは 2019/7/23 時点の最新版を使用
Sudachiは差が出たら面白いかなと思ってmode C でやってみた。結果、差が出なかったけど

precision

recall

f1-score