2024-01-01から1年間の記事一覧

BERT の 事前学習モデル を 事前にダウンロードしておく

$ git-lfs clone https://huggingface.co/bert-base-uncased # 日本語の場合 $ git-lfs clone https://huggingface.co/tohoku-nlp/bert-base-japanese-v3 参考ページ qiita.comqiita.com

WSL 割当てるメモリサイズを増やす

Python プログラムが Kill されたので メモリサイズを増やす デフォルトでは 物理メモリの半分だった C:\Users\hoge\.wslconfig [wsl2] memory=56GB swap=0$ free -h total used free shared buff/cache available Mem: 54Gi 519Mi 53Gi 3.0Mi 549Mi 53Gi Sw…

WSL ホスト名の設定

$ sudo vi /etc/wsl.conf [network] hostname = WSL

Docker で 任意のPythonバージョンの環境を作る

Dockerfileの作成 $ vi Dockerfile # python バージョン:3.7.6 FROM python:3.7.6 # 作業ディレクトリ WORKDIR /code # 作業ディレクトリをコンテナにコピー COPY ./code /code # pip アップグレード RUN pip install --upgrade pip # requirements.txt はコ…

Docker コマンド

イメージの一覧 $ docker images REPOSITORY TAG IMAGE ID CREATED SIZE nvcr.io/nvidia/pytorch 24.02-py3 91fc76da3ebc 3 weeks ago 22.2GB hello-world latest d2c94e258dcb 10 months ago 13.3kB nvcr.io/nvidia/pytorch 22.04-py3 6884f16521ea 22 mont…

WSL コマンド

インストールされているディストリビューション wsl -l -vディストリビューションの削除 wsl --unregister Ubuntu-22.04インストールできるディストリビューション wsl --list --onlineディストリビューションを指定してインストール wsl --install -d Ubunt…

開発環境構築 #2 Docker インストール

Ubuntu のアップデート $ sudo apt-get update Get:1 http://security.ubuntu.com/ubuntu jammy-security InRelease [110 kB] Hit:2 http://archive.ubuntu.com/ubuntu jammy InRelease ... Reading package lists... Done 前提パッケージをインストール $ s…

開発環境構築 #3 Docker で PyTorch

NVIDIA Container Toolkit をインストールする docs.nvidia.com $ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.gi…

WSL Ubuntu22.04 に CUDA Toolkit をインストールする #2

CUDA Toolkit PyTorch 対応できるのが CUDA12.1 らしいのでこのバージョンをインストールする PyTorch CUDA 対応表 Download Installer for Linux WSL-Ubuntu 2.0 x86_64 https://developer.nvidia.com/cuda-12-1-1-download-archive?target_os=Linux&target…

開発環境構築 #1 WSL で Ubuntu を Ubuntu-20.04 → Ubuntu-22.04 にした メモ (Windows10)

WSL自体のアップデート > wsl --update インストール中: Linux 用 Windows サブシステム Linux 用 Windows サブシステム はインストールされました。 > wsl --version WSL バージョン: 2.0.9.0 カーネル バージョン: 5.15.133.1-1 WSLg バージョン: 1.0.59 M…

久々にWSLさわったらいろいろ忘れていたのでメモ

WSLの起動 DOS窓から > wsl ssh の起動 > sudo /etc/init.d/ssh start ssh でリモートログインするときは 172.23.77.118等の仮想インタフェイスの方にアクセス Docker の起動 > sudo service docker start