FireCrawl パフォーマンスチューニング

概要

キャッシング、バッチ処理、コネクションプーリングを使用して FireCrawl API のパフォーマンスを最適化します。

前提条件

• FireCrawl SDK がインストール済み
• 非同期パターンの理解
• Redis またはインメモリキャッシュが利用可能（オプション）
• パフォーマンス監視が実装済み

レイテンシ ベンチマーク

操作	P50	P95	P99
Read	50ms	150ms	300ms
Write	100ms	250ms	500ms
List	75ms	200ms	400ms

キャッシング戦略

レスポンスキャッシング

import { LRUCache } from 'lru-cache';

const cache = new LRUCache<string, any>({
  max: 1000,
  ttl: 60000, // 1 minute
  updateAgeOnGet: true,
});

async function cachedFireCrawlRequest<T>(
  key: string,
  fetcher: () => Promise<T>,
  ttl?: number
): Promise<T> {
  const cached = cache.get(key);
  if (cached) return cached as T;

  const result = await fetcher();
  cache.set(key, result, { ttl });
  return result;
}

Redis キャッシング（分散）

import Redis from 'ioredis';

const redis = new Redis(process.env.REDIS_URL);

async function cachedWithRedis<T>(
  key: string,
  fetcher: () => Promise<T>,
  ttlSeconds = 60
): Promise<T> {
  const cached = await redis.get(key);
  if (cached) return JSON.parse(cached);

  const result = await fetcher();
  await redis.setex(key, ttlSeconds, JSON.stringify(result));
  return result;
}

リクエストバッチ処理

import DataLoader from 'dataloader';

const firecrawlLoader = new DataLoader<string, any>(
  async (ids) => {
    // Batch fetch from FireCrawl
    const results = await firecrawlClient.batchGet(ids);
    return ids.map(id => results.find(r => r.id === id) || null);
  },
  {
    maxBatchSize: 100,
    batchScheduleFn: callback => setTimeout(callback, 10),
  }
);

// Usage - automatically batched
const [item1, item2, item3] = await Promise.all([
  firecrawlLoader.load('id-1'),
  firecrawlLoader.load('id-2'),
  firecrawlLoader.load('id-3'),
]);

コネクション最適化

import { Agent } from 'https';

// Keep-alive connection pooling
const agent = new Agent({
  keepAlive: true,
  maxSockets: 10,
  maxFreeSockets: 5,
  timeout: 30000,
});

const client = new FireCrawlClient({
  apiKey: process.env.FIRECRAWL_API_KEY!,
  httpAgent: agent,
});

ページネーション最適化

async function* paginatedFireCrawlList<T>(
  fetcher: (cursor?: string) => Promise<{ data: T[]; nextCursor?: string }>
): AsyncGenerator<T> {
  let cursor: string | undefined;

  do {
    const { data, nextCursor } = await fetcher(cursor);
    for (const item of data) {
      yield item;
    }
    cursor = nextCursor;
  } while (cursor);
}

// Usage
for await (const item of paginatedFireCrawlList(cursor =>
  firecrawlClient.list({ cursor, limit: 100 })
)) {
  await process(item);
}

パフォーマンス監視

async function measuredFireCrawlCall<T>(
  operation: string,
  fn: () => Promise<T>
): Promise<T> {
  const start = performance.now();
  try {
    const result = await fn();
    const duration = performance.now() - start;
    console.log({ operation, duration, status: 'success' });
    return result;
  } catch (error) {
    const duration = performance.now() - start;
    console.error({ operation, duration, status: 'error', error });
    throw error;
  }
}

手順

ステップ 1: ベースラインを確立する

FireCrawl の重要な操作の現在のレイテンシを測定します。

ステップ 2: キャッシングを実装する

頻繁にアクセスされるデータにレスポンスキャッシングを追加します。

ステップ 3: バッチ処理を有効化する

DataLoader 等を使用して自動リクエストバッチ処理を実現します。

ステップ 4: コネクションを最適化する

keep-alive を使用してコネクションプーリングを設定します。

出力

• API レイテンシの低減
• キャッシングレイヤーの実装
• リクエストバッチ処理の有効化
• コネクションプーリングの設定

エラーハンドリング

問題	原因	解決策
キャッシュミスストーム	TTL が期限切れ	stale-while-revalidate を使用
バッチタイムアウト	アイテム数が多すぎる	バッチサイズを削減
コネクション枯渇	プーリングなし	maxSockets を設定
メモリ圧迫	キャッシュが大きすぎる	キャッシュエントリの最大数を設定

例

シンプルなパフォーマンスラッパー

const withPerformance = <T>(name: string, fn: () => Promise<T>) =>
  measuredFireCrawlCall(name, () =>
    cachedFireCrawlRequest(`cache:${name}`, fn)
  );

リソース

• FireCrawl Performance Guide
• DataLoader Documentation
• LRU Cache Documentation

次のステップ

コスト最適化については、firecrawl-cost-tuning を参照してください。