Transformers

概要

Hugging Face Transformers ライブラリは、NLP、コンピュータビジョン、音声、マルチモーダルドメイン全体にわたる数千の事前学習モデルへのアクセスを提供します。このスキルを使用して、モデルを読み込み、推論を実行し、カスタムデータで微調整できます。

インストール

transformers とコア依存関係をインストールします:

uv pip install torch transformers datasets evaluate accelerate

ビジョンタスクの場合、以下を追加します:

uv pip install timm pillow

音声タスクの場合、以下を追加します:

uv pip install librosa soundfile

認証

Hugging Face Hub の多くのモデルには認証が必要です。アクセスを設定します:

from huggingface_hub import login
login()  # Follow prompts to enter token

または環境変数を設定します:

export HUGGINGFACE_TOKEN="your_token_here"

トークンは以下から取得できます: https://huggingface.co/settings/tokens

クイックスタート

Pipeline API を使用して、手動設定なしで高速推論を実行します:

from transformers import pipeline

# Text generation
generator = pipeline("text-generation", model="gpt2")
result = generator("The future of AI is", max_length=50)

# Text classification
classifier = pipeline("text-classification")
result = classifier("This movie was excellent!")

# Question answering
qa = pipeline("question-answering")
result = qa(question="What is AI?", context="AI is artificial intelligence...")

コア機能

1. クイック推論用の Pipeline

多くのタスク全体で単純で最適化された推論に使用します。テキスト生成、分類、NER、質問応答、要約、翻訳、画像分類、物体検出、音声分類など多くのタスクに対応しています。

使用時期: クイックプロトタイピング、単純な推論タスク、カスタム前処理が不要な場合。

包括的なタスクカバレッジと最適化については references/pipelines.md を参照してください。

2. モデルの読み込みと管理

設定、デバイス配置、精度に対する細かい制御で事前学習モデルを読み込みます。

使用時期: カスタムモデル初期化、高度なデバイス管理、モデル検査。

読み込みパターンとベストプラクティスについては references/models.md を参照してください。

3. テキスト生成

様々なデコード戦略 (欲張り、ビームサーチ、サンプリング) と制御パラメータ (温度、top-k、top-p) を使用して LLM でテキストを生成します。

使用時期: クリエイティブなテキスト生成、コード生成、対話型 AI、テキスト補完。

生成戦略とパラメータについては references/generation.md を参照してください。

4. トレーニングと微調整

自動混合精度、分散トレーニング、ログ記録を備えた Trainer API を使用して、カスタムデータセットで事前学習モデルを微調整します。

使用時期: タスク固有のモデル適応、ドメイン適応、モデルパフォーマンスの向上。

トレーニングワークフローとベストプラクティスについては references/training.md を参照してください。

5. トークン化

テキストをモデル入力用のトークンとトークン ID に変換し、パディング、切り詰め、特殊トークン処理を行います。

使用時期: カスタム前処理パイプライン、モデル入力の理解、バッチ処理。

トークン化の詳細については references/tokenizers.md を参照してください。

一般的なパターン

パターン 1: シンプルな推論

単純なタスクの場合、Pipeline を使用します:

pipe = pipeline("task-name", model="model-id")
output = pipe(input_data)

パターン 2: カスタムモデルの使用

高度な制御の場合、モデルとトークナイザーを個別に読み込みます:

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("model-id")
model = AutoModelForCausalLM.from_pretrained("model-id", device_map="auto")

inputs = tokenizer("text", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100)
result = tokenizer.decode(outputs[0])

パターン 3: 微調整

タスク適応の場合、Trainer を使用します:

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="./results",
    num_train_epochs=3,
    per_device_train_batch_size=8,
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
)

trainer.train()

リファレンスドキュメント

特定のコンポーネントに関する詳細情報については以下を参照してください:

• Pipelines: references/pipelines.md - すべてのサポートされているタスクと最適化
• Models: references/models.md - 読み込み、保存、設定
• Generation: references/generation.md - テキスト生成戦略とパラメータ
• Training: references/training.md - Trainer API による微調整
• Tokenizers: references/tokenizers.md - トークン化と前処理