上記参考ページを見ながら Colaboratory で実行するために一部変更しながら BERT を動かしてみた
# BERT のダウンロード !git clone https://github.com/google-research/bert # BERT 学習済みモデルのダウンロード !wget https://storage.googleapis.com/bert_models/2018_10_18/uncased_L-12_H-768_A-12.zip # 解凍 !unzip uncased_L-12_H-768_A-12.zip # GLUE のデータダウンロード用スクリプトのダウンロード !wget https://gist.githubusercontent.com/W4ngatang/60c2bdb54d156a41194446737ce03e2e/raw/17b8dd0d724281ed7c3b2aeeda662b92809aadd5/download_glue_data.py # 参考ページとはURLを変更している # [https://github.com/microsoft/AzureML-BERT/commit/b905b2dd251dca01fb2fdb3ee63bac28257cb47d#diff-3356639d4d1e0982f20115c3ee9925fc] # GLUE のデータをダウンロード !python download_glue_data.py --data_dir glue_data --tasks all # MRPCの実行 !sh mrps.sh
#!/bin/sh # mrps.sh ファイルの改行コードはLFにする。CRLFはNG export BERT_BASE_DIR=uncased_L-12_H-768_A-12 export GLUE_DIR=glue_data/ python bert/run_classifier.py --task_name=MRPC --do_train=true --do_eval=true --data_dir=$GLUE_DIR/MRPC --vocab_file=$BERT_BASE_DIR/vocab.txt --bert_config_file=$BERT_BASE_DIR/bert_config.json --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt --max_seq_length=128 --train_batch_size=32 --learning_rate=2e-5 --num_train_epochs=3.0 --output_dir=/tmp/mrpc_output/
