LoRAを用いたLLMのFine-tuning手順

LoRAを用いてLLMのFine-tuningを行った際の作業記録

LoRA(Low Rank Adapter)とは既存の大規模モデルの小規模な部分のみを微調整することで、計算コストを削減しつつ特定のタスクの性能を向上させる技術

Fine-tuningの手順

1. スクリプトの準備

LoRAを用いた微調整スクリプト finetune_lora.py を準備し実行。

$ cd <base-dir>/llm
$ python finetune_lora.py --output_dir <base-dir>/llm/<output-dir>

2. 学習データの準備

IMDbデータセット用いてテキスト生成のための学習データを準備する。さらにデータを増強し、モデルの汎用性と精度を高める。

3. モデルの保存

Fine-tuning後のモデルは指定したディレクトリ<base-dir>/llm/<output-dir>へ保存される。

学習データの増強

様々な質問形式のデータを用意しモデルが柔軟に応答できるようにする。 例）「あなたの名前は何ですか？」という問いに対し、複数の異なる形式で答えるデータを作成

モデルのアップロードとテスト

微調整したモデルをHugging Faceにアップロードし公開。その後実際の会話シナリオでパフォーマンスをテスト。