バックグラウンドジョブ処理

目次

• 概要
• 使用場面
• クイックスタート
• リファレンスガイド
• ベストプラクティス

概要

分散タスクキュー、ワーカープール、ジョブスケジューリング、エラーハンドリング、リトライポリシー、監視機能を備えた、堅牢なバックグラウンドジョブ処理システムを構築します。これにより効率的な非同期タスク実行が可能になります。

使用場面

• 長時間実行操作の非同期処理
• バックグラウンドでのメール送信
• レポートまたはエクスポートの生成
• 大規模データセットの処理
• 定期的なタスクのスケジューリング
• 計算量の多い操作の分散

クイックスタート

最小限の動作例：

# celery_app.py
from celery import Celery
from kombu import Exchange, Queue
import os

app = Celery('myapp')

# Configuration
app.conf.update(
    broker_url=os.getenv('REDIS_URL', 'redis://localhost:6379/0'),
    result_backend=os.getenv('REDIS_URL', 'redis://localhost:6379/0'),
    task_serializer='json',
    accept_content=['json'],
    result_serializer='json',
    timezone='UTC',
    enable_utc=True,
    task_track_started=True,
    task_time_limit=30 * 60,  # 30 minutes
    task_soft_time_limit=25 * 60,  # 25 minutes
    broker_connection_retry_on_startup=True,
)

# Queue configuration
default_exchange = Exchange('tasks', type='direct')
app.conf.task_queues = (
// ... (see reference guides for full implementation)

リファレンスガイド

references/ ディレクトリの詳細な実装：

ガイド	内容
Python with Celery and Redis	Celery と Redis を使用した Python
Node.js with Bull Queue	Bull Queue を使用した Node.js
Ruby with Sidekiq	Sidekiq を使用した Ruby
Job Retry and Error Handling	ジョブリトライとエラーハンドリング
Monitoring and Observability	監視と可観測性

ベストプラクティス

✅ すべきこと

• タスクタイムアウトを使用してハングするジョブを防ぐ
• 指数バックオフを伴うリトライロジックを実装する
• タスクをべき等にする
• 重要なタスクに対してジョブ優先度を使用する
• キュー深度とジョブ失敗を監視する
• ジョブ実行の詳細をログに記録する
• 完了したジョブをクリーンアップする
• メモリ効率のための適切なバッチサイズを設定する
• 失敗したジョブにデッドレターキューを使用する
• ジョブを独立してテストする

❌ すべきではないこと

• 非同期タスク内で同期操作を使用する
• ジョブ失敗を無視する
• タスクを外部状態に依存させる
• 無制限のリトライを使用する
• ジョブデータに大きなオブジェクトを保存する
• タイムアウトハンドリングを忘れる
• 監視なしでジョブを実行する
• キュー内でブロッキング操作を使用する
• ジョブの進捗追跡を忘れる
• 関連のない操作を 1 つのジョブに混在させる