Phi-4 は 14B パラメーターで 9.1GB あるから GPUメモリ16GBだと動くか心配だったけど問題なく動きました。RTX 4080 SUPER で実行してます
SIZE 12GBは ollama run phi4 直後で SIZE 14GB はベンチマーク中の値です
自前の日本語テストデータでの評価結果は
精度 Faithfulness は llama3.1より気持ち良くなって、gpt-4o-mini には届かない感じでした
| gpt-4o-mini | llama3.1 | Phi4 |
| 0.928 | 0.904 | 0.905 |
