Promptfoo

PromptfooはLLM出力をテストして比較するためのCLIツールです。

設定ファイル

CLIは現在のディレクトリにあるpromptfooconfig.yamlを自動検出します。他の場所のファイルを使用する場合は-c pathを使用してください。

サポートされている拡張子: .yaml, .json, .js

設定

# yaml-language-server: $schema=https://promptfoo.dev/config-schema.json
description: "このエバリューションがテストする内容"

prompts:
  - file://prompt.txt
  - |
    {{variable}}の置換を含むインラインプロンプト

providers:
  - anthropic:messages:claude-sonnet-4-5-20250929

defaultTest:
  options:
    provider:
      config:
        temperature: 0.0
        max_tokens: 4096

tests:
  - description: 

...