ローカルに環境を作るといろいろトラブル起きるので、Azure Machine Learning Studio の Notebooks で実行すること
【E資格】 微分編 [AI]
Python 実行環境の再構築 [Python]
いろいろインストールしたりしているうちにゴチャゴチャしてきた気がするので いったんクリーンアップして再インストールする
0. 全てのPythonをアンインストール
1. Miniconda インストール
Miniconda3-4.5.4 (Python3.6入り)をインストール
repo.anaconda.com
※ PATH の設定のチェックをオンにすること
2. Pytorch & CUDA インストール
コマンドプロンプトから実行
> conda update --all > conda install pytorch==1.8.0 torchvision==0.9.0 torchaudio==0.8.0 cudatoolkit=11.1 -c pytorch -c conda-forge
※時間がかかるが辛抱強く待つこと
テスト
>python
Python 3.8.8 (default, Apr 13 2021, 15:08:03) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> from __future__ import print_function
>>> import torch
>>> x = torch.rand(5, 3)
>>> print(x)
tensor([[0.7916, 0.8205, 0.8727],
[0.9985, 0.6213, 0.1450],
[0.3143, 0.1618, 0.5846],
[0.3925, 0.1929, 0.1867],
[0.6710, 0.9961, 0.2065]])
>>> print('CUDA:', torch.cuda.is_available())
CUDA: Truepip install japanize_matplotlib pip install pycaret
Azure Machine Learning ノートブックのクローンを作成して実行する
1. Azure の Notebooks にクローンを作成する
Azure Machine Learning Studio
Microsoft Azure Machine Learning Studio
ディレクトリとサブスクリプション : メニューから選択
Machine Learning ワークスペース : メニューから選択 なければ 「＋新しいワークスペースの作成」
「作業の開始」
Notebooks : 今すぐ開始
「ターミナル」
git clone https://github.com/MicrosoftLearning/mslearn-dp100 mslearn-dp100
2. ローカルPC Visual Studio Code にクローンを作成する
演習によっては Pythonコードやコマンドの実行のみの場合がある。＝ Azure Machine Learning Studio のGUIを使わない
その場合はローカルPCでも実行できる。= Azureのコストがかからない
Visual Studio Code で Azure Machine Learning を使う場合の環境構築手順
docs.microsoft.com
ローカルPC の Visual Studio Code にクローンを作る
Visual Studio Code 起動
Ctl + Shift + P
> gitcl ← エラーになる場合には Git がインストールされていない可能性がある
https://github.com/MicrosoftLearning/mslearn-dp100
リポジトリを作成するフォルダを指定
DP100 実行環境 Azure Machine Learning ワークスペース と コンピューティング インスタンスを作成する
「Azureポータル」と「 Microsoft Azure Machine Learning Studio」の2つのサイトが出てくるので混同しないように気を付ける
1. ワークスペースの作成
Azureポータルにログイン
Microsoft Azure
「リソースの作成」
表示された検索ボックスで「Machine Learning」
「Azure Machine Learning」を選んで「作成」
サブスクリプション : 従量課金
リソースグループ : 既存のリソースグループがあればその名前、なければ新規作成
ワークスペース名 : 任意のワークスペース名
リージョン : 東日本
ストレージアカウント : 勝手に名前が入る
キーコンテナー : 勝手に名前が入る
Application insights : 勝手に名前が入る
コンテナーレジストリ : なし
「確認及び作成」
「作成」← 上記の設定をAzureが確認して問題なければ表示される
デプロイされるまで待つ。数分
「リソースに移動」
「スタジオの起動」 ← 「 Azure Machine Learning Studio」に移動する
メモ
ストレージ アカウント : ワークスペースで使用されるファイルと、実験およびモデル トレーニング用のデータを格納する
キーコンテナー : ワークスペースで使用される認証キーや資格情報などのシークレットを管理する
Application Insights : ワークスペース内で予測サービスを監視する
コンテナー レジストリ : デプロイされたモデルのコンテナーを管理する
2. コンピューティング インスタンス の作成
ここからは移動した「 Azure Machine Learning Studio」で
Microsoft Azure Machine Learning Studio
左ナビ「コンピューティング」
「コンピューティング インスタンス」タブ
「+新規」
コンピューティング名 : 任意
場所 : japaneast ← ワークスペースに紐づくので変更できない
仮想マシンの種類 : CPU ←演習は特に指定がなければCPUで大丈夫
仮想マシンのサイズ : Standard_DS11_v2 ← 2コア、14GB、28GB $0.23/H , $171/M(演習後削除し忘れるとヤバい...)
「次：詳細設定」
アイドリングからのシャットダウンを有効にする: 有効 ← 削除忘れ対策
60 分 の間非アクティブであった後、シャットダウンします
スケジュールの追加 : 何もしない
SSHアクセスを有効にする：無効
仮想ネットワークを有効にする：無効
別のユーザーに割り当てる：無効
セットアップスクリプトを使用したプロビジョニング ： 無効
マネージドIDを割り当てる : 無効
アプリケーションの追加 : 何もしない
「作成」
状態が実行中になるまで待つ。数分
3. Notebooks の準備
ローカルに環境作るといろいろトラブルが起きるので Azure Machine Learning の Notebooks を使う
ログがリアルタイムに表示されるなど普通の Jupyter Notebook より使いやすい
左ナビ Notebooks
[ターミナル]
/users/your-user-nameフォルダーであることを確認
git clone https://github.com/MicrosoftLearning/mslearn-dp100 mslearn-dp100
4. コンピューティング インスタンスの停止
Microsoft Azure Machine Learning Studio
左ナビ「コンピューティング」
停止するインスタンスにチェック
「停止」
メモ
コンピューティング インスタンス：データサイエンティストがデータとモデルを操作するために使用できる開発ワークステーション
コンピューティング クラスター：実験コードのオンデマンド処理のための仮想マシンのスケーラブルなクラスター
推論クラスター：トレーニング済みモデルを使用する予測サービスの展開ターゲット
アタッチされたコンピューティング：仮想マシンやAzureDatabricksクラスターなどの他のAzureコンピューティングリソースへのリンク
※)リソースグループのみでワークスペースがなければ課金されないっぽい
注: コンピューティングを停止すると、コンピューティング リソースに対してサブスクリプションが課金されなくなります。ただし、サブスクリプションに Azure Machine Learning ワークスペースが存在する限り、データ ストレージに対して少額が課金されます。Azure Machine Learning の探索が終了したら、Azure Machine Learning ワークスペースと関連するリソースを削除できます。ただし、このシリーズの他のラボを完了する予定がある場合は、このラボを繰り返してワークスペースを作成し、最初に環境を準備する必要があります。
Microsoft 認定 : Azure Data Scientist Associate 取得に向けて
何をもってデータサイエンティストと名乗ってよいかわからないのだけれど
とりあえず 世界共通のMSの資格を持っていれば、一応名乗ってもよさそうな気がするので取得してみることにする
資格のタイトル通り、 Azure に限定された Azure Data Scientist にはなるのだろうけど
難易度は Associate で ★2つなので中級といったところ。 AIやデータサイエンス系の上級資格はまだできていないみたい
docs.microsoft.com
MSで用意されている無料のトレーニングコース(ラーニング パス )をやり切れば合格できると思う
34モジュールということなので、はやい人なら30時間ぐらいで終わるのだろうけど
過去に Azure AI エンジニア アソシエイト を取得したときの感覚からいうと、演習を丁寧にやっていくと70時間ぐらいかかる気がする。1ケ月での合格を目標とする
www.credly.com
大事な概念
Azure Machine Learning は、クラウド上で機械学習ワークロードを処理するためのプラットフォーム
クラウド上にワークスペースを作るところがスタート。
Azureのアカウントは最初の30日は無料だけれどそれを過ぎると有料になるので、一日の終わりには忘れず削除していきたい
