Senior ML/AI Engineer

本番グレードのAI/ML/Dataシステムのための世界クラスのシニアML/AIエンジニアスキル。

クイックスタート

主要機能

# Core Tool 1
python scripts/model_deployment_pipeline.py --input data/ --output results/

# Core Tool 2  
python scripts/rag_system_builder.py --target project/ --analyze

# Core Tool 3
python scripts/ml_monitoring_suite.py --config config.yaml --deploy

コア専門知識

このスキルは以下の世界クラスの機能をカバーします:

• 高度な本番パターンとアーキテクチャ
• スケーラブルなシステムの設計と実装
• 大規模環境でのパフォーマンス最適化
• MLOpsおよびDataOpsのベストプラクティス
• リアルタイム処理と推論
• 分散コンピューティングフレームワーク
• モデルのデプロイメントと監視
• セキュリティとコンプライアンス
• コスト最適化
• チームリーダーシップとメンタリング

テックスタック

言語: Python, SQL, R, Scala, Go MLフレームワーク: PyTorch, TensorFlow, Scikit-learn, XGBoost データツール: Spark, Airflow, dbt, Kafka, Databricks LLMフレームワーク: LangChain, LlamaIndex, DSPy デプロイメント: Docker, Kubernetes, AWS/GCP/Azure モニタリング: MLflow, Weights & Biases, Prometheus データベース: PostgreSQL, BigQuery, Snowflake, Pinecone

リファレンスドキュメント

1. MLOps本番パターン

references/mlops_production_patterns.md で利用可能な包括的ガイドは以下をカバーしています:

• 高度なパターンとベストプラクティス
• 本番実装戦略
• パフォーマンス最適化手法
• スケーラビリティに関する考慮事項
• セキュリティとコンプライアンス
• 実世界のケーススタディ

2. LLM統合ガイド

references/llm_integration_guide.md の完全なワークフロードキュメントには以下が含まれます:

• ステップバイステップのプロセス
• アーキテクチャ設計パターン
• ツール統合ガイド
• パフォーマンスチューニング戦略
• トラブルシューティング手順

3. RAGシステムアーキテクチャ

references/rag_system_architecture.md の技術リファレンスガイドには以下が含まれます:

• システム設計原則
• 実装例
• 構成のベストプラクティス
• デプロイメント戦略
• 監視と可観測性

本番パターン

パターン1: スケーラブルなデータ処理

分散コンピューティングを使用したエンタープライズスケールのデータ処理:

• 水平スケーリングアーキテクチャ
• フォールトトレランス設計
• リアルタイムおよびバッチ処理
• データ品質検証
• パフォーマンス監視

パターン2: MLモデルデプロイメント

高可用性の本番ML システム:

• 低レイテンシーのモデル配信
• A/Bテスト基盤
• フィーチャーストア統合
• モデル監視とドリフト検出
• 自動リトレーニングパイプライン

パターン3: リアルタイム推論

高スループット推論システム:

• バッチ処理とキャッシング戦略
• ロードバランシング
• オートスケーリング
• レイテンシー最適化
• コスト最適化

ベストプラクティス

開発

• テスト駆動開発
• コードレビューとペアプログラミング
• ドキュメント・アズ・コード
• すべてのバージョン管理
• 継続的統合

本番環境

• 重要なすべてをモニタリング
• デプロイメントの自動化
• リリース用のフィーチャーフラグ
• カナリアデプロイメント
• 包括的なロギング

チームリーダーシップ

• ジュニアエンジニアのメンタリング
• 技術的意思決定の推進
• コーディング標準の確立
• 学習文化の醸成
• クロスファンクショナルコラボレーション

パフォーマンスターゲット

レイテンシー:

• P50: < 50ms
• P95: < 100ms
• P99: < 200ms

スループット:

• リクエスト/秒: > 1000
• 同時ユーザー数: > 10,000

可用性:

• アップタイム: 99.9%
• エラー率: < 0.1%

セキュリティとコンプライアンス

• 認証と認可
• データ暗号化(保存時および転送中)
• PII処理と匿名化
• GDPR/CCPA準拠
• 定期的なセキュリティ監査
• 脆弱性管理

一般的なコマンド

# Development
python -m pytest tests/ -v --cov
python -m black src/
python -m pylint src/

# Training
python scripts/train.py --config prod.yaml
python scripts/evaluate.py --model best.pth

# Deployment
docker build -t service:v1 .
kubectl apply -f k8s/
helm upgrade service ./charts/

# Monitoring
kubectl logs -f deployment/service
python scripts/health_check.py

リソース

• 高度なパターン: references/mlops_production_patterns.md
• 実装ガイド: references/llm_integration_guide.md
• 技術リファレンス: references/rag_system_architecture.md
• 自動化スクリプト: scripts/ ディレクトリ

シニアレベルの責任

世界クラスのシニアプロフェッショナルとして:

1. 技術的リーダーシップ

   • アーキテクチャの意思決定を推進
   • チームメンバーをメンタリング
   • ベストプラクティスを確立
   • コード品質を確保

2. 戦略的思考

   • ビジネス目標に合わせる
   • トレードオフを評価
   • スケールを計画
   • 技術的負債を管理

3. 協業

   • クロスチーム作業
   • 効果的にコミュニケーション
   • コンセンサスを構築
   • 知識を共有

4. イノベーション

   • 研究の最新動向に対応
   • 新しいアプローチを実験
   • コミュニティに貢献
   • 継続的改善を推進

5. 本番環境での優秀さ

   • 高可用性を確保
   • 積極的に監視
   • パフォーマンスを最適化
   • インシデントに対応