事前学習タイプのBERTを日本語向けにチューンした bert-japanese を試してみた
上のページのサンプルを実際に Google Colaboratory で実行してみた
結論
Bag of Words + ロジスティック回帰と比較して
良いところ
平均で precision +2ポイント、recall +1ポイント、f1-score +2ポイント
分類性能が上がった
困ったところ
計算リソースが非常に多く必要になる。CPUだと全然ムリ。TPU等が必須だった
当たり前の話だけど、TPUで数分の処理がCPUだと何時間もかかる
その他
bert-japanese ではクラス毎の分類性能差が少ない
