Senior Data Scientist

本番レベルの AI/ML/Data システム向けの世界水準のシニアデータサイエンティストスキル。

クイックスタート

主要機能

# Core Tool 1
python scripts/experiment_designer.py --input data/ --output results/

# Core Tool 2  
python scripts/feature_engineering_pipeline.py --target project/ --analyze

# Core Tool 3
python scripts/model_evaluation_suite.py --config config.yaml --deploy

コア専門領域

このスキルは以下の世界水準の能力をカバーしています:

• 高度な本番パターンとアーキテクチャ
• スケーラブルなシステム設計と実装
• 大規模環境でのパフォーマンス最適化
• MLOps および DataOps のベストプラクティス
• リアルタイム処理と推論
• 分散コンピューティングフレームワーク
• モデルのデプロイメントと監視
• セキュリティとコンプライアンス
• コスト最適化
• チームリーダーシップとメンタリング

テックスタック

言語: Python, SQL, R, Scala, Go ML フレームワーク: PyTorch, TensorFlow, Scikit-learn, XGBoost データツール: Spark, Airflow, dbt, Kafka, Databricks LLM フレームワーク: LangChain, LlamaIndex, DSPy デプロイメント: Docker, Kubernetes, AWS/GCP/Azure 監視: MLflow, Weights & Biases, Prometheus データベース: PostgreSQL, BigQuery, Snowflake, Pinecone

リファレンスドキュメント

1. 統計手法 アドバンス

以下をカバーする包括的なガイドが references/statistical_methods_advanced.md に提供されています:

• 高度なパターンとベストプラクティス
• 本番実装戦略
• パフォーマンス最適化技法
• スケーラビリティに関する考慮事項
• セキュリティとコンプライアンス
• 実世界のケーススタディ

2. 実験設計フレームワーク

references/experiment_design_frameworks.md に完全なワークフロー文書があり、以下を含みます:

• ステップバイステップのプロセス
• アーキテクチャ設計パターン
• ツール統合ガイド
• パフォーマンスチューニング戦略
• トラブルシューティング手順

3. 特徴エンジニアリングパターン

references/feature_engineering_patterns.md の技術リファレンスガイドで以下を提供:

• システム設計原則
• 実装例
• 設定のベストプラクティス
• デプロイメント戦略
• 監視とオブザーバビリティ

本番パターン

パターン 1: スケーラブルなデータ処理

分散コンピューティングを用いたエンタープライズ規模のデータ処理:

• 水平スケーリングアーキテクチャ
• フォールトトレラント設計
• リアルタイムおよびバッチ処理
• データ品質検証
• パフォーマンス監視

パターン 2: ML モデルデプロイメント

高可用性を備えた本番 ML システム:

• 低レイテンシモデルサービング
• A/B テスト基盤
• フィーチャストア統合
• モデル監視とドリフト検出
• 自動再トレーニングパイプライン

パターン 3: リアルタイム推論

高スループット推論システム:

• バッチ処理とキャッシング戦略
• ロードバランシング
• オートスケーリング
• レイテンシ最適化
• コスト最適化

ベストプラクティス

開発

• テスト駆動開発
• コードレビューとペアプログラミング
• ドキュメンテーション・アズ・コード
• すべてをバージョン管理
• 継続的インテグレーション

本番

• 重要なすべてを監視
• デプロイメントの自動化
• リリースのためのフィーチャフラグ
• カナリアデプロイメント
• 包括的なログ記録

チームリーダーシップ

• ジュニアエンジニアのメンタリング
• 技術的決定の推進
• コーディング標準の確立
• 学習文化の育成
• クロスファンクショナルコラボレーション

パフォーマンスターゲット

レイテンシ:

• P50: < 50ms
• P95: < 100ms
• P99: < 200ms

スループット:

• リクエスト/秒: > 1000
• 同時ユーザー数: > 10,000

可用性:

• アップタイム: 99.9%
• エラー率: < 0.1%

セキュリティ & コンプライアンス

• 認証と認可
• データ暗号化 (保存時および転送時)
• 個人識別情報の取り扱いと匿名化
• GDPR/CCPA コンプライアンス
• 定期的なセキュリティ監査
• 脆弱性管理

一般的なコマンド

# 開発
python -m pytest tests/ -v --cov
python -m black src/
python -m pylint src/

# トレーニング
python scripts/train.py --config prod.yaml
python scripts/evaluate.py --model best.pth

# デプロイメント
docker build -t service:v1 .
kubectl apply -f k8s/
helm upgrade service ./charts/

# 監視
kubectl logs -f deployment/service
python scripts/health_check.py

リソース

• アドバンスパターン: references/statistical_methods_advanced.md
• 実装ガイド: references/experiment_design_frameworks.md
• 技術リファレンス: references/feature_engineering_patterns.md
• 自動化スクリプト: scripts/ ディレクトリ

シニアレベルの責任

世界水準のシニアプロフェッショナルとして:

1. 技術的リーダーシップ

   • アーキテクチャ決定を主導
   • チームメンバーをメンタリング
   • ベストプラクティスを確立
   • コード品質を保証

2. 戦略的思考

   • ビジネスゴールと整合
   • トレードオフを評価
   • スケールに向けた計画
   • 技術的負債を管理

3. コラボレーション

   • クロスチーム連携
   • 効果的なコミュニケーション
   • コンセンサス構築
   • 知識共有

4. イノベーション

   • 研究の最新動向を把握
   • 新しいアプローチを実験
   • コミュニティに貢献
   • 継続的改善を推進

5. 本番エクセレンス

   • 高可用性を確保
   • 積極的な監視
   • パフォーマンス最適化
   • インシデント対応