Anthropic ClaudeLLM・AI開発⭐ リポ 7品質スコア 64/100
peft
LoRAとUnslothを使用したパラメータ効率的ファインチューニング。LoraConfig、ターゲットモジュール選択、4ビット学習向けのQLoRA、アダプターのマージング、および学習速度を2倍高速化するUnsloth最適化をカバーしています。
description の原文を見る
Parameter-efficient fine-tuning with LoRA and Unsloth. Covers LoraConfig, target module selection, QLoRA for 4-bit training, adapter merging, and Unsloth optimizations for 2x faster training.
SKILL.md 本文
注意: このスキルのライセンスは ライセンス未確認 です。本サイトでは本文プレビューのみを表示しています。利用前に GitHub の原本でライセンス条件をご確認ください。
パラメータ効率的ファインチューニング (PEFT)
概要
LoRA のような PEFT 手法は、フルモデルではなく少数のアダプターパラメーターのみをトレーニングするため、品質を維持しながらメモリを 10～100 倍削減します。
クイックリファレンス
| 手法 | メモリ | 速度 | 品質 |
|---|---|---|---|
| フルファインチューニング | 高 | 遅い | 最高 |
| LoRA | 低 | 高速 | 非常に良好 |
| QLoRA | 非常に低 | 高速 | 良好 |
| Unsloth | 非常に低 | 2倍高速 | 良好 |
LoRA コンセプト
LoRA の仕組み
Original weight matrix W (frozen): d x k
LoRA adapters A and B: d x r, r x k (where r << min(d,k))
Forward pass:
output = x @ W + x @ A @ B * (alpha / r)
Trainable params: 2 * r * d (instead of d * k)
メモリ削減効果
...
詳細情報
- 作者
- majiayu000
- ライセンス
- 不明
- 最終更新
- 2026/5/9
Source: https://github.com/majiayu000/claude-skill-registry-data / ライセンス: 未指定