2021-12-03

Azure Machine Learning ノートブックのクローンを作成して実行する

Microsoft Certified: Azure Data Scientist Associate

1. Azure の Notebooks にクローンを作成する

Azure Machine Learning Studio
Microsoft Azure Machine Learning Studio

ディレクトリとサブスクリプション : メニューから選択
Machine Learning ワークスペース : メニューから選択なければ「＋新しいワークスペースの作成」
「作業の開始」
Notebooks : 今すぐ開始
「ターミナル」

 git clone https://github.com/MicrosoftLearning/mslearn-dp100 mslearn-dp100

2. ローカルPC Visual Studio Code にクローンを作成する
演習によっては Pythonコードやコマンドの実行のみの場合がある。＝ Azure Machine Learning Studio のGUIを使わない
その場合はローカルPCでも実行できる。= Azureのコストがかからない

Visual Studio Code で Azure Machine Learning を使う場合の環境構築手順
docs.microsoft.com

ローカルPC の Visual Studio Code にクローンを作る
Visual Studio Code 起動
Ctl + Shift + P
> gitcl ← エラーになる場合には Git がインストールされていない可能性がある
https://github.com/MicrosoftLearning/mslearn-dp100
リポジトリを作成するフォルダを指定

2021-12-03

DP100 実行環境 Azure Machine Learning ワークスペースとコンピューティングインスタンスを作成する

Microsoft Certified: Azure Data Scientist Associate

「Azureポータル」と「 Microsoft Azure Machine Learning Studio」の2つのサイトが出てくるので混同しないように気を付ける

1. ワークスペースの作成

Azureポータルにログイン
Microsoft Azure

「リソースの作成」
表示された検索ボックスで「Machine Learning」
「Azure Machine Learning」を選んで「作成」
サブスクリプション : 従量課金
リソースグループ : 既存のリソースグループがあればその名前、なければ新規作成
ワークスペース名 : 任意のワークスペース名
リージョン : 東日本
ストレージアカウント : 勝手に名前が入る
キーコンテナー : 勝手に名前が入る
Application insights : 勝手に名前が入る
コンテナーレジストリ : なし
「確認及び作成」
「作成」← 上記の設定をAzureが確認して問題なければ表示される
デプロイされるまで待つ。数分
「リソースに移動」
「スタジオの起動」 ← 「 Azure Machine Learning Studio」に移動する

メモ
ストレージアカウント : ワークスペースで使用されるファイルと、実験およびモデルトレーニング用のデータを格納する
キーコンテナー : ワークスペースで使用される認証キーや資格情報などのシークレットを管理する
Application Insights : ワークスペース内で予測サービスを監視する
コンテナーレジストリ : デプロイされたモデルのコンテナーを管理する

2. コンピューティングインスタンスの作成

ここからは移動した「 Azure Machine Learning Studio」で
Microsoft Azure Machine Learning Studio

左ナビ「コンピューティング」
「コンピューティングインスタンス」タブ
「+新規」
コンピューティング名 : 任意
場所 : japaneast ← ワークスペースに紐づくので変更できない
仮想マシンの種類 : CPU ←演習は特に指定がなければCPUで大丈夫
仮想マシンのサイズ : Standard_DS11_v2 ← 2コア、14GB、28GB $0.23/H , $171/M(演習後削除し忘れるとヤバい...)
「次：詳細設定」
アイドリングからのシャットダウンを有効にする: 有効 ← 削除忘れ対策
60 分の間非アクティブであった後、シャットダウンします
スケジュールの追加 : 何もしない
SSHアクセスを有効にする：無効
仮想ネットワークを有効にする：無効
別のユーザーに割り当てる：無効
セットアップスクリプトを使用したプロビジョニング：無効
マネージドIDを割り当てる : 無効
アプリケーションの追加 : 何もしない
「作成」
状態が実行中になるまで待つ。数分

3. Notebooks の準備
ローカルに環境作るといろいろトラブルが起きるので Azure Machine Learning の Notebooks を使う
ログがリアルタイムに表示されるなど普通の Jupyter Notebook より使いやすい

左ナビ Notebooks
[ターミナル]
/users/your-user-nameフォルダーであることを確認

 git clone https://github.com/MicrosoftLearning/mslearn-dp100 mslearn-dp100

4. コンピューティングインスタンスの停止
Microsoft Azure Machine Learning Studio
左ナビ「コンピューティング」
停止するインスタンスにチェック
「停止」

メモ
コンピューティングインスタンス：データサイエンティストがデータとモデルを操作するために使用できる開発ワークステーション
コンピューティングクラスター：実験コードのオンデマンド処理のための仮想マシンのスケーラブルなクラスター
推論クラスター：トレーニング済みモデルを使用する予測サービスの展開ターゲット
アタッチされたコンピューティング：仮想マシンやAzureDatabricksクラスターなどの他のAzureコンピューティングリソースへのリンク

※)リソースグループのみでワークスペースがなければ課金されないっぽい

注: コンピューティングを停止すると、コンピューティング リソースに対してサブスクリプションが課金されなくなります。ただし、サブスクリプションに Azure Machine Learning ワークスペースが存在する限り、データ ストレージに対して少額が課金されます。Azure Machine Learning の探索が終了したら、Azure Machine Learning ワークスペースと関連するリソースを削除できます。ただし、このシリーズの他のラボを完了する予定がある場合は、このラボを繰り返してワークスペースを作成し、最初に環境を準備する必要があります。

2021-12-03

Microsoft 認定 : Azure Data Scientist Associate 取得に向けて

Microsoft Certified: Azure Data Scientist Associate

何をもってデータサイエンティストと名乗ってよいかわからないのだけれど
とりあえず世界共通のMSの資格を持っていれば、一応名乗ってもよさそうな気がするので取得してみることにする
資格のタイトル通り、 Azure に限定された Azure Data Scientist にはなるのだろうけど
難易度は Associate で ★2つなので中級といったところ。 AIやデータサイエンス系の上級資格はまだできていないみたい
docs.microsoft.com

MSで用意されている無料のトレーニングコース(ラーニングパス )をやり切れば合格できると思う
34モジュールということなので、はやい人なら30時間ぐらいで終わるのだろうけど
過去に Azure AI エンジニアアソシエイトを取得したときの感覚からいうと、演習を丁寧にやっていくと70時間ぐらいかかる気がする。1ケ月での合格を目標とする
www.credly.com

大事な概念
Azure Machine Learning は、クラウド上で機械学習ワークロードを処理するためのプラットフォーム

クラウド上にワークスペースを作るところがスタート。
Azureのアカウントは最初の30日は無料だけれどそれを過ぎると有料になるので、一日の終わりには忘れず削除していきたい

2021-11-26

iOS15 でメールを無料で暗号化 S/MIME 電子証明書

設定方法は iOSのバージョンによって変わる。以下はiOS15.1 のiPhoneとiPadで実施

1. Actalis から無料で証明書を取得する
下記参考に
outlook.aptrust.net

証明書は圧縮されてメールに添付されて送られてくる
途中パスワードが画面に表示されるのでメモっておく

2. 証明書を解凍したうえで、メールに添付して自分宛てに送る

3. iOSの「メール」アプリでメールを受信して、証明書をタップ。証明書がダウンロードされる

4. 証明書のインストール

設定アプリ > 一般 > VPNとデバイス管理
「ID証明書:1」>右上の「インストール」
パスコード入力
「このプロファイルは署名されていません」と警告出るが右上「インストール」
さらに「インストール」
Actalis で表示されたパスワードを入力 > 次へ > 完了

5. S / MIME の有効化
設定アプリ > メール > アカウント > アカウント選択 > アカウント > 詳細 >
S/MIME
署名 : はい
デフォルトで暗号化 : はい

以上

※1) S/MIME 使うときは「メール」アプリでメールを送る
※2) 暗号化したメールを送れるのは、先に相手から暗号化したメールを受け取った場合のみ。受け取ったメールについている証明書(相手の公開鍵)をインストールしておく必要がある
※3) 証明書を持っていない相手に暗号化して送りたい場合は、Windows のThunderbird を使う。上で取得した同じ証明書を使える。
※4) Gmailアプリや GmailのWebメールでは暗号化されたメールの送信はできない

2021-11-19

flask run でコマンドありませんよ的なエラーになったときにやってみること Python

Power Shell で実行したときのエラー

> flask run    
flask: The term 'flask' is not recognized as a name of a cmdlet, function, script file, or executable program.
Check the spelling of the name, or if a path was included, verify that the path is correct and try again.

OKパターン

> python -m flask run

2021-11-09

Azure の Cognitive Services で翻訳しようとしてエラーになったときやったこと text translation

エラー

response {'error': {'code': 401000, 'message': 'The request is not authorized because credentials are missing or invalid.'}}

Regionをリクエストヘッダーに追加する

    headers = {
    'Ocp-Apim-Subscription-Key': '0123456789abcdefghijk',  
    'Ocp-Apim-Subscription-Region': 'japaneast', # ← Region の指定
    'Content-type': 'application/json'
    }

response [{'language': 'fr', 'score': 1.0, 'isTranslationSupported': True, 'isTransliterationSupported': False}]

2021-09-19

Pandas 欠損値を別の列の値で埋めるメモ

abstract 列の値が Nan の場合は， title 列の値を代入する

train = train.fillna( { 'abstract' : train[ 'title' ] } )