効率的で堅牢なバックアップサーバーをLinuxで作りたい Ubuntu 22を搭載した汎用サーバーを使用し、効率的かつ安全なバックアップシステムを構築する システムの概要 ローカルおよびリモートネットワーク上の複数のサーバーで構成され、主に以下の特徴を持つ…

GoとPythonのサーバーを連携して動作させる際に、クライアントが切断されてもサーバーが停止しないようにする 問題点 通常、クライアントが切断するとGoサーバーは停止する。これはGoサーバーがWebSocketメッセージの読み取りエラーを検出するとhandleWebSoc…

LLMモデルをLoRAでFinetuningを行った。 エポック数とデータ量を調整し、モデルの応答の正確性や既存知識へ及ぼす影響を探ったメモ。 実験の概要 エポック数: 1から4まで変化させ、応答の品質を比較。 データ量: 224データセットから549データセットまで徐々…

LinuxでUSBディスクを安全に取り外すにはLinuxシステムでUSBディスクを安全に取り外す手順 ディスクのアンマウント ディスクを物理的に取り外す前にアンマウントする。 sudo umount /diskC アンマウントの確認 ディスクがシステムから正しく切り離されている…

特定のプロジェクトディレクトリへ入ると自動的に仮想環境が有効化され、出ると無効化されるようにする設定手順 1. autoenvのインストール (bashの場合） cd ~curl -#fLo- ‘https://raw.githubusercontent.com/hyperupcall/autoenv/master/scripts/install.s…

Gitのサブモジュールのディレクトリを変更するGitにおけるサブモジュールのディレクトリ名と関連する設定ファイルを更新する手順 サブモジュールのディレクトリ名を変更 1. ディレクトリ名を変更 cd /path/to/repository-root git mv olddir newdir これによ…

以下はディープラーニングの作業中によく遭遇するGPUメモリ不足への対処法です。 1. 不要な変数のクリア PyTorchのメモリキャッシュのクリア import torchtorch.cuda.empty_cache() 使用していない変数によって占有されているメモリへの参照をクリアします。…