Azure Machine Learning を使用した機械学習ソリューションの構築と運用 dp 100 で AI 実装 メモ

docs.microsoft.com

回帰モデルの評価指標 メモ

よく忘れるので すぐに確認できるようにメモ

MAE (Mean Absolute Error ) 平均絶対誤差

絶対誤差 = 絶対値 ( 正解値 - 予測値 ) ← これをすべてのサンプルで計算して 平均を取る
誤差の平均なので直感的にわかりやすい
外れ値の影響を低減した形での評価に適した指標 (Kaggle本より)

MSE ( Mean Squared Error ) 平均二乗誤差

← これをすべてのサンプルで計算して 平均を取る
予測値と真値の差を二乗するため、真値から大きく外れたデータが多いと、MSEが大きくなりやすい
MSEの単位は真値の二乗になる

RMSE ( Root Mean Squared Error ) 平均平方二乗誤差

↑の MSEのルートを取ったもの

RMSEの単位は真値の単位と同じになる。MSEに比べて直感的に分かりやすい
MAEと比較すると外れ値の影響を受けやすいので、あらかじめ外れ値を除く処理などをしておかないと外れ値に過剰に適合したモデルを作成してしまう可能性がある (Kaggle本より)

( R-squared, coefficient of determination ) 決定係数

モデルがデータにどれだけ当てはまっているかを表す
1.0に近いほどモデルが適合している

決定係数

この指標を最大化することはRMSEを最小化することと同じ意味 (Kaggle本より)
これをはてな記法で書くのはしんどい...

RMSLE ( Root Mean Squared Logarithmic Error ) 平均平方二乗対数誤差

← これをすべてのサンプルで計算して 平均を取ったのが MSLE ( Mean Squared Logarithmic Error )
MSLEのルートを取ったのが RMSLE

MAPE (Mean Absolute Percentage Error ) 平均絶対パーセンテージ誤差

絶対パーセンテージ誤差 = 絶対値 ( 正解値 - 予測値) / 正解値 ← これをすべてのサンプルで計算して 平均を取る

PyCaret の plot_model でグラフを書いて日本語フォントが文字化けしたときにやったこと

!pip install japanize_matplotlib

import pandas as pd
from pycaret.regression import *

import matplotlib.pyplot as plt
import japanize_matplotlib

Azule ML 学習環境 mslearn-dp100 の構築メモ DP100

ローカルに環境を作るといろいろトラブル起きるので、Azure Machine Learning Studio の Notebooks で実行すること

knaka20blue.hatenablog.com

【E資格】 微分編 [AI]

E資格はセミナー料金も受験費用も高いので、本気で受験準備する前にレベル感を確認しておきたい

問題集を解けるようになっておけば大丈夫かな

徹底攻略ディープラーニングE資格エンジニア問題集 第2版 徹底攻略シリーズ

まずは微分
この辺を理解すればいけるかな

www.youtube.com

atmarkit.itmedia.co.jp

Python 実行環境の再構築 [Python]

いろいろインストールしたりしているうちにゴチャゴチャしてきた気がするので いったんクリーンアップして再インストールする

0. 全てのPythonをアンインストール

1. Miniconda インストール
Miniconda3-4.5.4 (Python3.6入り)をインストール
repo.anaconda.com
※ PATH の設定のチェックをオンにすること

2. Pytorch & CUDA インストール
コマンドプロンプトから実行

> conda update --all
> conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge

※時間がかかるが辛抱強く待つこと

テスト

>python
Python 3.8.8 (default, Apr 13 2021, 15:08:03) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from __future__ import print_function
>>> import torch
>>> x = torch.rand(5, 3)
>>> print(x)
tensor([[0.7916, 0.8205, 0.8727],
        [0.9985, 0.6213, 0.1450],
        [0.3143, 0.1618, 0.5846],
        [0.3925, 0.1929, 0.1867],
        [0.6710, 0.9961, 0.2065]])

>>> print('CUDA:', torch.cuda.is_available())
CUDA: True

pip install japanize_matplotlib
pip install pycaret

合格！

合格出来てよかった...

www.credly.com