データベースアーカイブシステム

このスキルは、データベースアーカイブシステムタスクの自動化支援を提供します。

前提条件

このスキルを使用する前に、以下を確認してください:

• ソーステーブルに対するSELECTおよびDELETE権限を持つデータベース認証情報
• 宛先ストレージへのアクセス(アーカイブテーブルまたはクラウドストレージ認証情報)
• S3/Azure/GCSを使用する場合、クラウドストレージサービスへのネットワーク接続性
• 初回アーカイブ実行前のデータベースバックアップ
• データ保持要件とコンプライアンスポリシーの理解
• アーカイブジョブの成功を追跡するための監視ツールの設定

手順

ステップ1: アーカイブ条件の定義

1. アーカイブ対象の履歴データを含むテーブルを特定する
2. アーカイブの年齢閾値を定義する(例:1年以上前のレコード)
3. 追加条件を決定する(ステータスフラグ、レコードサイズ、アクセス頻度)
4. アーカイブ対象データの予想ボリュームを計算する
5. ビジネス要件とコンプライアンスポリシーを文書化する

ステップ2: アーカイブ宛先の選択

1. オプションを評価する:同じデータベース内のアーカイブテーブル、個別のアーカイブデータベース、またはコールドストレージ
2. クラウドストレージの場合:インフラストラクチャに基づいてS3、Azure Blob、またはGCSを選択する
3. 宛先ストレージを適切なセキュリティとアクセス制御で設定する
4. ストレージ効率のための圧縮設定を設定する
5. アーカイブレコードのデータ形式を定義する(CSV、Parquet、JSON)

ステップ3: アーカイブスキーマの作成

1. ソーステーブル構造に一致するアーカイブテーブルスキーマを設計する
2. メタデータ列を追加する(archived_at、source_table、archive_reason)
3. 一般的にクエリされるアーカイブ列にインデックスを作成する
4. クラウドストレージの場合:バケット構造と命名規則を定義する
5. サンプルデータでアーカイブスキーマをテストする

ステップ4: アーカイブロジックの実装

1. アーカイブ条件を満たすレコードを特定するSQLクエリを記述する
2. ソーステーブルからレコードをエクスポートする抽出スクリプトを作成する
3. アーカイブ形式がソース形式と異なる場合、変換ロジックを実装する
4. アーカイブ後のデータ整合性を確認する検証クエリを作成する
5. トランザクション処理を追加して原子性を確保する(アーカイブ成功時のみ削除)

ステップ5: アーカイブプロセスの実行

1. ステージング環境でデータの部分集合を使用してアーカイブを実行する
2. アーカイブされたデータの整合性と完全性を検証する
3. トラフィック低時間帯に本番環境でアーカイブを実行する
4. アーカイブ操作中のデータベースパフォーマンスを監視する
5. レコード数とストレージ削減量を含むアーカイブレポートを生成する

ステップ6: 保持ポリシーの自動化

1. 定期的なアーカイブジョブをスケジュールする(週次、月次)
2. ジョブ失敗の自動監視とアラート設定を構成する
3. ソーステーブルから正常にアーカイブされたレコードのクリーンアップを実装する
4. コンプライアンス要件に従ったアーカイブデータの有効期限ポリシーを設定する
5. アーカイブスケジュールと保持期間を文書化する

出力

このスキルは以下を生成します:

アーカイブスクリプト: データをアーカイブ宛先に抽出、変換、ロードするSQLおよびシェルスクリプト

アーカイブテーブル/ファイル: メタデータとタイムスタンプを含む履歴レコードの構造化ストレージ

検証レポート: 成功したアーカイブを確認するロー数、データチェックサム、整合性チェック

ストレージメトリクス: データベースサイズ削減、アーカイブストレージ使用率、コスト削減推定値

アーカイブログ: タイムスタンプ、レコード数、エラーを含む各アーカイブ実行の詳細ログ

エラーハンドリング

ストレージ容量不足:

• 実行前にアーカイブ宛先の利用可能なディスク容量を確認する
• ストレージ監視とアラート設定を実装する
• 圧縮を使用してアーカイブサイズを削減する
• 新しいアーカイブ前に保持ポリシーに従って古いアーカイブをクリーンアップする

データ整合性の問題:

• アーカイブ前後のソースデータでチェックサムを実行する
• ソースとアーカイブ間のロー数検証を実装する
• アーカイブ検証完了までソースデータを保持する
• 検証失敗時にアーカイブトランザクションをロールバックする

権限拒否エラー:

• データベースユーザーがソーステーブルに対するSELECT権限、アーカイブテーブルに対するINSERT権限を持っていることを確認する
• クラウドストレージ認証情報が書き込み権限を持つことを確認する
• ネットワークセキュリティグループがクラウドストレージへの接続を許可していることを確認する
• アーカイブ自動化に必要な権限を文書化する

大規模アーカイブ中のタイムアウト:

• アーカイブを日付範囲でより小さいバッチに分割する
• 複数日にわたってアーカイブを段階的に実行する
• アーカイブセッションのデータベースタイムアウト設定を増加させる
• 拡張タイムアウト付きのメンテナンスウィンドウ中にアーカイブをスケジュールする

リソース

アーカイブ設定テンプレート:

• PostgreSQLアーカイブ: {baseDir}/templates/postgresql-archive-config.yaml
• MySQLアーカイブ: {baseDir}/templates/mysql-archive-config.yaml
• S3コールドストレージ: {baseDir}/templates/s3-archive-config.yaml
• Azure Blobストレージ: {baseDir}/templates/azure-archive-config.yaml

保持ポリシー定義: {baseDir}/policies/retention-policies.yaml

アーカイブスクリプトライブラリ: {baseDir}/scripts/archival/

• CSV抽出スクリプト
• Parquet抽出スクリプト
• 圧縮付きS3アップロード
• アーカイブ検証クエリ

監視ダッシュボード: {baseDir}/monitoring/archival-dashboard.json コスト分析ツール: {baseDir}/tools/storage-cost-calculator.py

概要

このスキルは、説明された機能の自動化支援を提供します。

例

使用例パターンは、コンテキスト内で示されます。