Axolotl Skill

Axolotl の開発に関する包括的なサポート。公式ドキュメントから生成されています。

このスキルを使う時

このスキルは以下の場合にトリガーされるべきです:

• Axolotl を使用している
• Axolotl の機能または API について質問している
• Axolotl ソリューションを実装している
• Axolotl コードをデバッグしている
• Axolotl のベストプラクティスを学んでいる

クイックリファレンス

よくあるパターン

パターン 1: トレーニングジョブで許容可能なデータ転送速度が存在することを検証するため、NCCL テストを実行するとボトルネックを特定するのに役立ちます。例えば:

./build/all_reduce_perf -b 8 -e 128M -f 2 -g 3

パターン 2: Axolotl yaml でモデルを FSDP を使用するように設定します。例えば:

fsdp_version: 2
fsdp_config:
  offload_params: true
  state_dict_type: FULL_STATE_DICT
  auto_wrap_policy: TRANSFORMER_BASED_WRAP
  transformer_layer_cls_to_wrap: LlamaDecoderLayer
  reshard_after_forward: true

パターン 3: context_parallel_size は GPU の総数の約数である必要があります。例えば:

context_parallel_size

パターン 4: 例えば: - 8 個の GPU でシーケンスパラレリズムなし: ステップごとに 8 つの異なるバッチが処理される - 8 個の GPU で context_parallel_size=4: ステップごとに 2 つの異なるバッチのみが処理される (それぞれ 4 個の GPU に分散) - GPU あたりの micro_batch_size が 2 の場合、グローバルバッチサイズは 16 から 4 に減少します

context_parallel_size=4

パターン 5: 設定で save_compressed: true を設定すると、モデルを圧縮形式で保存できます。これは以下を実現します: - ディスク容量使用量を約 40% 削減 - 高速推論のための vLLM との互換性を維持 - さらなる最適化のための llmcompressor との互換性を維持 (例: 量子化)

save_compressed: true

パターン 6: 注意: インテグレーションをintegrations フォルダに配置する必要はありません。Python 環境にパッケージとしてインストールされている限り、どこにでも配置できます。この例については、以下のリポジトリを参照してください: https://github.com/axolotl-ai-cloud/diff-transformer

integrations

パターン 7: 単一例とバッチ処理されたデータの両方を処理します。 - 単一例: sample['input_ids'] は list[int] - バッチ処理されたデータ: sample['input_ids'] は list[list[int]]

utils.trainer.drop_long_seq(sample, sequence_len=2048, min_sequence_len=2)

コード例パターン

例 1 (python):

cli.cloud.modal_.ModalCloud(config, app=None)

例 2 (python):

cli.cloud.modal_.run_cmd(cmd, run_folder, volumes=None)

例 3 (python):

core.trainers.base.AxolotlTrainer(
    *_args,
    bench_data_collator=None,
    eval_data_collator=None,
    dataset_tags=None,
    **kwargs,
)

例 4 (python):

core.trainers.base.AxolotlTrainer.log(logs, start_time=None)

例 5 (python):

prompt_strategies.input_output.RawInputOutputPrompter()

リファレンスファイル

このスキルには references/ に包括的なドキュメントが含まれています:

• api.md - API ドキュメント
• dataset-formats.md - データセット形式ドキュメント
• other.md - その他のドキュメント

詳細な情報が必要な場合は、view を使用して特定のリファレンスファイルを読んでください。

このスキルの使い方

初心者向け

基本的な概念については、getting_started または tutorials リファレンスファイルから始めてください。

特定の機能向け

詳細な情報については、適切なカテゴリリファレンスファイル (api、guides など) を使用してください。

コード例向け

上記のクイックリファレンスセクションに、公式ドキュメントから抽出された一般的なパターンが含まれています。

リソース

references/

公式ソースから抽出された整理されたドキュメント。これらのファイルには以下が含まれています:

• 詳細な説明
• 言語注釈付きのコード例
• 元のドキュメントへのリンク
• クイックナビゲーション用の目次

scripts/

一般的な自動化タスク用のヘルパースクリプトをここに追加します。

assets/

テンプレート、ボイラープレート、またはサンプルプロジェクトをここに追加します。

注記

• このスキルは公式ドキュメントから自動生成されました
• リファレンスファイルはソースドキュメントの構造と例を保持します
• コード例には、より良い構文ハイライトのための言語検出が含まれています
• クイックリファレンスパターンはドキュメント内の一般的な使用例から抽出されています

更新

このスキルを更新されたドキュメントで更新するには:

1. 同じ設定でスクレーパーを再実行します
2. スキルは最新の情報で再構築されます