モニタリング ガイドライン

システムの信頼性、パフォーマンスの可視性、および問題の先制的な検出を確保するため、以下のモニタリング原則を適用してください。

コア モニタリング原則

• 4 つのゴールデン シグナル (レイテンシ、トラフィック、エラー、飽和度) をモニタリングする
• 再現性を確保するため、モニタリングをコードとして実装する
• ユーザー エクスペリエンスとビジネス インパクトを中心としたモニタリング設計
• SLO (Service Level Objectives) を使用してアラート判断を導く
• 包括的なカバレッジと実用的なインサイトのバランスを取る

モニタリング対象の主要メトリクス

アプリケーション メトリクス

• リクエスト レート (1 秒あたりのリクエスト数)
• エラー レート (失敗したリクエストの割合)
• レスポンス タイム (p50, p90, p95, p99 レイテンシ)
• アクティブな接続数と同時実行ユーザー数
• キュー深度と処理時間

インフラストラクチャ メトリクス

• CPU 使用率と負荷平均
• メモリ使用量と利用可能なメモリ
• ディスク I/O と利用可能なストレージ
• ネットワーク スループットとエラー レート
• コンテナと Pod のヘルス (Kubernetes の場合)

ビジネス メトリクス

• トランザクション量と金額
• ユーザー登録数と変換率
• 機能の使用状況と導入率
• 収益に関連するイベント
• 顧客満足度指標

アラート戦略

アラート設計原則

• 原因ではなく症状に基づいてアラートを設定する
• 明確な修復手順を含めて、アラートを実用的にする
• 適切な重大度レベル (重大、警告、情報) を設定する
• 適切なしきい値チューニングによってアラート疲れを回避する
• アラート通知にランブック リンクを含める

SLO ベースのアラート

• 重要なユーザー ジャーニーの SLO を定義する
• エラー バジェットとバーン レートを計算する
• エラー バジェットの消費が高い場合にアラートを発行する
• マルチ ウィンドウ、マルチ バーン レート アラートを使用する
• SLO を四半期ごとに見直して調整する

アラート設定

• ベースライン データに基づいて意味のあるしきい値を設定する
• ヒステリシスを使用してアラートの変動を防ぐ
• アラート依存関係を実装して、ノイズを減らす
• アラートを適切なチームにルーティングする
• エスカレーション ポリシーを構成する

ダッシュボード設計

効果的なダッシュボード

• サービス ヘルスの概要ダッシュボードを作成する
• デバッグ用の詳細ダッシュボードを構築する
• 一貫したレイアウトと命名規則を使用する
• 時間範囲セレクターとドリルダウン機能を含める
• SLO ステータスを目立つように表示する

ダッシュボード コンテンツ

• 現在の状態と最近のトレンドを表示する
• ベースラインまたは前期間との比較を含める
• デプロイ マーカーを表示して相関関係を把握する
• 重要なイベントのアノテーションを追加する
• 関連するダッシュボードとログへのリンクを含める

モニタリング ツール統合

データ収集

• メトリクス収集にはエージェントまたはサイドカーを使用する
• 動的環境ではサービス ディスカバリーを実装する
• 適切なスクレイプ間隔を設定する
• ユース ケースに基づいてプッシュ型とプル型を使い分ける
• メトリクスのカーディナリティが管理可能であることを確認する

データ ストレージと保持

• ユース ケースに基づいて保持期間を設定する
• 長期ストレージではダウンサンプリングを実装する
• スケールに応じて適切なストレージ バックエンドを使用する
• モニタリング データのディザスター リカバリーを計画する
• モニタリング インフラストラクチャ自体をモニタリングする

ヘルス チェックとプローブ

• クラッシュ検出にはライブネス プローブを実装する
• トラフィック管理にはレディネス プローブを使用する
• 依存関係を検証する詳細なヘルス チェックを作成する
• ヘルス エンドポイントを標準形式で公開する
• ヘルス チェックのレイテンシをメトリクスとしてモニタリングする

インシデント対応

• モニタリング データを使用して早期にインシデントを検出する
• 調査中にメトリクス、ログ、トレースを相互に関連付ける
• インシデント後の検出結果を文書化してモニタリングを更新する
• MTTR (平均復旧時間) メトリクスを追跡する
• モニタリングの見直しと改善を定期的に実施する

キャパシティ プランニング

• リソース使用率のトレンドを追跡する
• キャパシティ制限に近づくときのアラートを設定する
• 予測を使用してプロアクティブにスケーリングする
• キャパシティ要件とヘッドルームを文書化する
• キャパシティを四半期ごとに見直す