StopTimizer

ソフトウェアカーネルの公式トークナイザーを情報源として、正確なトークンカウントを実行します。

目的

LLMモデル(GPT、Claude、Gemini)の正確なトークンカウントを提供します。近似値は使用しません。バリデーションや判定は実行せず、生の数値のみを返します(Unixの哲学)。

使用方法

すべてのモデルをカウント

deno run --allow-net <url>/stoptimizer.ts "hello world"
# 出力: 2 2 2 2 2 2 2 (スペース区切り: gpt-5 gpt-5.2 gpt-5-mini gpt-4o gpt-4 gpt-3.5 claude)

JSON出力

deno run --allow-net <url>/stoptimizer.ts --json "test"
# 出力: {"gpt-5":1,"gpt-5.2":1,"gpt-5-mini":1,"gpt-4o":1,"gpt-4":1,"gpt-3.5":1,"claude-3.5-sonnet":1}

単一モデル

deno run --allow-net <url>/stoptimizer.ts --model gpt-4o

...