モデルの追加

ライブな LiteLLM プロキシに新しい LLM を追加します。

セットアップ

以下の情報が不明な場合は確認してください:

LITELLM_BASE_URL  — 例: https://my-proxy.example.com
LITELLM_API_KEY   — プロキシ管理者キー

API リファレンス: https://litellm.vercel.app/docs/proxy/model_management

ユーザーに確認する項目

1. 公開モデル名 — 呼び出し元が "model": "..." に指定する名前 (例: gpt-4o、my-claude、llama3)
2. プロバイダー — 以下の表から選択
3. 認証情報 — そのプロバイダーが必要とする情報

プロバイダー表

プロバイダー	litellm_params.model	追加パラメーター
OpenAI	openai/gpt-4o	api_key
Azure OpenAI	azure/<deployment-name>	api_key、api_base、api_version
Anthropic	anthropic/claude-3-5-sonnet-20241022	api_key
AWS Bedrock	bedrock/anthropic.claude-3-5-sonnet-20241022-v2:0	環境変数経由の AWS 認証情報
Google Vertex	vertex_ai/gemini-1.5-pro	vertex_project、vertex_location
Ollama	ollama/llama3	api_base (例: http://localhost:11434)
Groq	groq/llama-3.3-70b-versatile	api_key
Together AI	together_ai/meta-llama/Llama-3-70b	api_key
Mistral	mistral/mistral-large-latest	api_key

完全なリスト: https://docs.litellm.ai/docs/providers

実行

curl -s -X POST "$BASE/model/new" \
  -H "Authorization: Bearer $KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model_name": "<public-name>",
    "litellm_params": {
      "model": "<provider/deployment>",
      "api_key": "<key>",
      "api_base": "<base_if_needed>",
      "api_version": "<version_if_azure>"
    }
  }'

テスト

追加後、正しくルーティングされることを確認します:

curl -s -X POST "$BASE/chat/completions" \
  -H "Authorization: Bearer $KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<public-name>",
    "messages": [{"role": "user", "content": "say hi"}],
    "max_tokens": 10
  }'

出力

レスポンスから model_id を表示してください — 後でモデルを更新または削除する際に必要です。 テスト呼び出しの成否を報告してください。