汎用DevOps・インフラ⭐ リポ 0品質スコア 55/100

expanso-kafka-to-s3

Kafkaトピックをパーティショニングとバッチ処理を用いてS3にストリーミングできます

description の原文を見る

Stream Kafka topics to S3 with partitioning and batching

SKILL.md 本文

Kafka to S3

Kafkaトピックからデータを取得し、S3バケットにストリーミングします。インテリジェントなパーティショニング、バッチ処理、圧縮に対応しています。

カテゴリ

data-routing

クイックスタート

# Configure environment
export KAFKA_BROKERS=localhost:9092
export AWS_ACCESS_KEY_ID=your-key
export AWS_SECRET_ACCESS_KEY=your-secret
export S3_BUCKET=your-bucket

# Run the pipeline
./run.sh

パイプライン

pipeline.yamlは以下の機能でKafkaからS3へストリーミングします:

コンシューマグループ管理
時間ベースのパーティショニング(1時間単位/日単位)
Gzip圧縮
S3への効率的な書き込みのためのバッチ処理

要件

Expanso Edgeがインストール済み(clawhub install expanso)
Kafkaブローカーへのアクセス
S3書き込み権限付きのAWS認証情報

関連情報

ライセンス: MIT(寛容ライセンスのため全文を引用しています) · 原本リポジトリ

詳細情報

作者: expanso-io
リポジトリ: expanso-io/skills.expanso.io
ライセンス: MIT
最終更新: 2026/3/15

GitHubで原本を見る →フィードバックを送る

Source: https://github.com/expanso-io/skills.expanso.io / ライセンス: MIT