ZScaler 縛りのPC に開発環境を作ったときのメモ。WSL / Docker / Python

1. WindowsでZScaler証明書をエクスポート Windows環境で、ZScaler証明書がシステムにインストールされている場合、以下の手順でエクスポートできます。 証明書マネージャを開く: 「Windowsキー + R」を押して「certmgr.msc」と入力し、Enter。 「信頼された…

pip の制限を解除する方法

このエラーは、Ubuntu 22.04がPythonのシステム環境を「外部管理環境(externally managed environment)」として保護しているために発生しています。この保護機能を解除して、pipを制限なく使用できるようにする方法を説明します。ただし、この設定を変更す…

Ollama Phi4 Llama3.1よりチョッピり精度アップ

Phi-4 は 14B パラメーターで 9.1GB あるから GPUメモリ16GBだと動くか心配だったけど問題なく動きました。RTX 4080 SUPER で実行してます ollama ps 実行結果SIZE 12GBは ollama run phi4 直後で SIZE 14GB はベンチマーク中の値です 自前の日本語テストデ…

LlamaIndex BM25 で 多言語対応される日も近い?

github.comこれ見るとそんなに難しくないようなきもするが...。開発者のみなさんがんばってください

LlamaIndex SentenceSplitter の paragraph_separator は設定しても意味ない

github.com SentenceSplitter(paragraph_separator="\n\n") 改行コード2つでノードが分けられるように設定したが、全く無視される。 調べてみたらもう paragraph_separator は特定の文字または文字列による分割はできなくなって模様。残念

Dify メール設定なしで 招待メールを送る

メール設定はいろいろ面倒くさいので、招待する人数が少なければ招待用URLを手動で送るのもあり。 設定 > 左ナビ「メンバー」>「招待」>招待する人のメールアドレス入力>「招待を送る」 このあと表示される招待用URLをコピー 招待する人にこのURLを送ればOK…

ローカル の Dify を ローカルネットワーク で公開する

WSL の上で Docker で動かしている Dify をローカルネットワークで公開する ※ ホストOS(Windows)のファイアウォールに穴を開けるので、安全が担保されたネットワークにつながってるときだけに実行すること! 手順1 ホストOS(Windows)のポートの公開 Windows…

Ragas で LalaIndexのドキュメントからテストセットを作成しようとしたときに発生するエラーの対応方法

github.com NameError: name 'LCDocument' is not defined が出るときの対応方法原因:generate.pyのバグ修正方法 : from langchain_core.documents import Document as LCDocument を if t.TYPE_CHECKING: の外に出す 修正前 26 from ragas.testset.transfor…

ローカルLLM + RAG を試す Ollama使って メモ

WSL + Docker docker build -t python312 . docker images docker run -it --name python312 --gpus all -h python312 -v /home/hoge:/home/hoge -v /mnt:/mnt -p 8888:8888 -p 11434:11434 python312 ssh 172.17.0.2 # Ollama インストール ollama.com curl…

Docker ssh ポートフォワーディング

docker run --name pytorch --rm --gpus all -h pytorch -it \ -v /home/hoge:/home/hoge -p 8888:8888 -p 10022:22 pytorch ホストOSから ssh localhost -p 10022

GitHub Copilot をはじめる

https://docs.github.com/ja/copilot/quickstartここから申込む 最初30日間無料。自動更新

ロジクール MX KEYS mini を買ったので 勢いで caps lock を ctrl に変更した PowerToys ではできないと思う

atmarkit.itmedia.co.jpPowerToysで変更できるとの記事があるが試してみてできなかったので インストール不要でキー配置の変更が可能な「Change Key」を使ったついでに「カタカナひらがな」キーもctrlに変更した満足

Git の復習

git config --global user.email "hoge@gmail.com" git config --global user.name "hoge" cd ~/work/Git git init git status git add HelloWorld.py <- ファイルを指定して監視 git add . <- カレントディレクトリ以下全てのファイルを監視 git commit -m …

BERT の 事前学習モデル を 事前にダウンロードしておく

$ git-lfs clone https://huggingface.co/bert-base-uncased # 日本語の場合 $ git-lfs clone https://huggingface.co/tohoku-nlp/bert-base-japanese-v3 参考ページ qiita.comqiita.com

WSL 割当てるメモリサイズを増やす

Python プログラムが Kill されたので メモリサイズを増やす デフォルトでは 物理メモリの半分だった C:\Users\hoge\.wslconfig [wsl2] memory=56GB swap=0$ free -h total used free shared buff/cache available Mem: 54Gi 519Mi 53Gi 3.0Mi 549Mi 53Gi Sw…

WSL ホスト名の設定

$ sudo vi /etc/wsl.conf [network] hostname = WSL

Docker で 任意のPythonバージョンの環境を作る

Dockerfileの作成 $ vi Dockerfile # python バージョン:3.7.6 FROM python:3.7.6 # 作業ディレクトリ WORKDIR /code # 作業ディレクトリをコンテナにコピー COPY ./code /code # pip アップグレード RUN pip install --upgrade pip # requirements.txt はコ…

Docker コマンド

イメージの一覧 $ docker images REPOSITORY TAG IMAGE ID CREATED SIZE nvcr.io/nvidia/pytorch 24.02-py3 91fc76da3ebc 3 weeks ago 22.2GB hello-world latest d2c94e258dcb 10 months ago 13.3kB nvcr.io/nvidia/pytorch 22.04-py3 6884f16521ea 22 mont…

WSL コマンド

インストールされているディストリビューション wsl -l -vディストリビューションの削除 wsl --unregister Ubuntu-22.04インストールできるディストリビューション wsl --list --onlineディストリビューションを指定してインストール wsl --install -d Ubunt…

開発環境構築 #2 Docker インストール

Ubuntu のアップデート $ sudo apt-get update Get:1 http://security.ubuntu.com/ubuntu jammy-security InRelease [110 kB] Hit:2 http://archive.ubuntu.com/ubuntu jammy InRelease ... Reading package lists... Done 前提パッケージをインストール $ s…

開発環境構築 #3 Docker で PyTorch

NVIDIA Container Toolkit をインストールする docs.nvidia.com $ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.gi…

WSL Ubuntu22.04 に CUDA Toolkit をインストールする #2

CUDA Toolkit PyTorch 対応できるのが CUDA12.1 らしいのでこのバージョンをインストールする PyTorch CUDA 対応表 Download Installer for Linux WSL-Ubuntu 2.0 x86_64 https://developer.nvidia.com/cuda-12-1-1-download-archive?target_os=Linux&target…

開発環境構築 #1 WSL で Ubuntu を Ubuntu-20.04 → Ubuntu-22.04 にした メモ (Windows10)

WSL自体のアップデート > wsl --update インストール中: Linux 用 Windows サブシステム Linux 用 Windows サブシステム はインストールされました。 > wsl --version WSL バージョン: 2.0.9.0 カーネル バージョン: 5.15.133.1-1 WSLg バージョン: 1.0.59 M…

久々にWSLさわったらいろいろ忘れていたのでメモ

WSLの起動 DOS窓から > wsl ssh の起動 > sudo /etc/init.d/ssh start ssh でリモートログインするときは 172.23.77.118等の仮想インタフェイスの方にアクセス Docker の起動 > sudo service docker start

東証33業種を景気敏感株かディフェンシブ株に分類してみた

いろいろな考えがあると思いますが、作ってみたので公開します 17業種コード 17業種コード名 33業種コード 33業種コード名 景気敏感株/ディフェンシブ株 1 食品 50 水産・農林業 ディフェンシブ株 1 食品 3050 食料品 ディフェンシブ株 2 エネルギー資源 10…

ImportError: Pandas requires version '3.0.0' or newer of 'jinja2' (version '2.11.2' currently installed). でやったこと

ImportError: Pandas requires version '3.0.0' or newer of 'jinja2' (version '2.11.2' currently installed). これで対応できた github.com pip3 install --upgrade setuptools pip pip3 uninstall jinja2 tornado pip3 install --upgrade notebook jupyt…

HandBrakeCLI.exe のダウンロードはここから コマンドライン Command Line HandBrake

handbrake.fr

時系列データ ロングフォーマットからワイドフォーマットの変換 マルチインデックスのフラット化

# pivot で ロングフォーマットからワイドフォーマットに変換 waterlevel_df_wide = waterlevel_df.pivot(index=['date','station', 'river'], columns='hour' , values=['value']) # 行の MultiIndex をフラット化 waterlevel_df_wide.columns = waterlevel…

DP100 / Azure Data Scientist Associate / Azure AI Engineer Associate 更新試験用の対応方法

1. まずは更新試験を受けて対象となっているモジュール(章)を把握する 更新試験に出るのは下記の一部のモジュールコース DP-100T01--A: Azure でのデータ サイエンス ソリューションの設計と実装 - Training | Microsoft Learn 2. 点数の低かったモジュール…

Azure Machine Learning CLI DP100

ローカルに環境を作るといろいろトラブル起きるので、Azure Machine Learning Studio の Notebooks で実行することknaka20blue.hatenablog.com