ab-test-analysis
A/Bテストの結果を統計的有意性・サンプルサイズの妥当性・信頼区間の観点から分析し、機能をリリース・延長・停止すべきかの推奨判断を提示します。実験結果の評価、有意差の確認、スプリットテストデータの解釈、バリアントのリリース判断を行う際に活用してください。
description の原文を見る
Analyze A/B test results with statistical significance, sample size validation, confidence intervals, and ship/extend/stop recommendations. Use when evaluating experiment results, checking if a test reached significance, interpreting split test data, or deciding whether to ship a variant.
SKILL.md 本文
A/B テスト分析
統計的厳密性を持って A/B テスト結果を評価し、得られた知見を明確なプロダクト判断に変換します。
コンテキスト
$ARGUMENTS の A/B テスト結果を分析しています。
ユーザーがデータファイル (CSV、Excel、分析エクスポート) を提供する場合は、それらを直接読み込んで分析してください。必要に応じて統計計算用の Python スクリプトを生成してください。
指示
-
実験を理解する:
- 仮説は何だったか？
- 何が変更されたのか (バリアント)？
- 主要メトリクスは何か？ガードレールメトリクスはあるか？
- テストはどのくらいの期間実施されたか？
- トラフィック分割は何か？
-
テスト設定を検証する:
- サンプルサイズ: 期待される効果サイズに対して十分なサンプル数があるか？
- 式を使用: n = (Z²α/2 × 2 × p × (1-p)) / MDE²
- テストがアンダーパワー (<80% power) の場合はフラグを立てる
- 期間: テストは最低 1～2 営業サイクル分実施されたか？
- ランダム化: サンプル比率の不一致 (SRM) の証拠はあるか？
- 新規性/初期効果: 初期の行動変化を洗い流すのに十分な時間があったか？
- サンプルサイズ: 期待される効果サイズに対して十分なサンプル数があるか？
-
統計的有意性を計算する:
- コンバージョン率: コントロール群とバリアント群
- 相対的なリフト: (バリアント - コントロール) / コントロール × 100
- p 値: 両側 z 検定またはカイ二乗検定を使用
- 信頼区間: 差分の 95% CI
- 統計的有意性: p < 0.05 か？
- 実務的有意性: ビジネスにとってリフトは意味があるか？
ユーザーが生データを提供する場合、統計計算用の Python スクリプトを生成して実行してください。
-
ガードレールメトリクスを確認する:
- ガードレールメトリクス (売上、エンゲージメント、ページロード時間) に悪化が見られたか？
- 主要メトリクスが向上していてもガードレールが悪化している場合は、真の勝利ではない可能性がある
-
結果を解釈する:
結果 推奨 有意な正のリフト、ガードレール問題なし リリースする — 100% に展開する 有意な正のリフト、ガードレール懸念あり 調査する — リリース前にトレードオフを理解する 有意でない、正の傾向 テストを延長する — より多くのデータまたはより大きな効果が必要 有意でない、フラット テストを停止する — 意味のある差は検出されなかった 有意な負のリフト リリースしない — コントロールに戻す、理由を分析する -
分析サマリーを提供する:
## A/B テスト結果: [テスト名] **仮説**: [予想していたこと] **期間**: [X 日間] | **サンプル**: [N コントロール / M バリアント] | メトリクス | コントロール | バリアント | リフト | p 値 | 有意か？ | |---|---|---|---|---|---| | [主要] | X% | Y% | +Z% | 0.0X | はい/いいえ | | [ガードレール] | ... | ... | ... | ... | ... | **推奨**: [リリース / 延長 / 停止 / 調査] **理由**: [なぜか] **次のステップ**: [何をするか]
段階的に考えてください。Markdown として保存してください。生データが提供される場合は計算用の Python スクリプトを生成してください。
さらに詳しく
ライセンス: MIT(寛容ライセンスのため全文を引用しています) · 原本リポジトリ
詳細情報
- 作者
- phuryn
- リポジトリ
- phuryn/pm-skills
- ライセンス
- MIT
- 最終更新
- 不明
Source: https://github.com/phuryn/pm-skills / ライセンス: MIT
関連スキル
hugging-face-trackio
Trackioを使用してMLトレーニング実験を追跡・可視化できます。トレーニング中のメトリクスログ記録（Python API）、トレーニング診断のアラート発火、ログされたメトリクスの取得・分析（CLI）が必要な場合に活用してください。リアルタイムダッシュボード表示、Webhookを使用したアラート、HF Space同期、自動化向けのJSON出力に対応しています。
btc-bottom-model
ビットコインのサイクルタイミングモデルで、加重スコアリングシステムを搭載しています。日次パルス（4指標、32ポイント）とウィークリー構造（9指標、68ポイント）の2カテゴリーにわたる13の指標を追跡し、0～100のマーケットヒートスコアを算出します。ETFフロー、ファンディングレート、ロング/ショート比率、恐怖・貪欲指数、LTH-MVRV、NUPL、SOPR（LTH+STH）、LTH供給率、移動平均倍率（365日MA、200週MA）、週次RSI、出来高トレンドに対応します。市場サイクル全体を通じて買いと売りの両方の推奨を提供します。ビットコインの底値拾い、BTCサイクルポジション、買い時・売り時、オンチェーン指標、MVRV、NUPL、SOPR、LTH動向、ETFの流出入、ファンディングレート、恐怖指数、ビットコインが過熱状態か、マイナーコスト、暗号資産市場のセンチメント、BTCのポジションサイジング、「今ビットコインを買うべきか」「BTCが天井をつけているか」「オンチェーン指標は何を示しているか」といった質問の際にこのスキルを活用します。
protein_solubility_optimization
タンパク質の溶解性最適化 - タンパク質の溶解性を最適化します。タンパク質の特性を計算し、溶解性と親水性を予測し、有効な変異を提案します。タンパク質配列の特性計算、タンパク質機能の予測、親水性計算、ゼロショット配列予測を含むタンパク質エンジニアリング業務に使用できます。3つのSCPサーバーから4つのツールを統合しています。
research-lookup
Parallel Chat APIまたはPerplexity sonar-pro-searchを使用して、最新の研究情報を検索できます。学術論文の検索にも対応しています。クエリは自動的に最適なバックエンドにルーティングされるため、論文の検索、研究データの収集、科学情報の検証に活用できます。
tree-formatting
ggtree（R）またはiTOL（ウェブ）を使用して、系統樹の可視化とフォーマットを行います。系統樹を図として描画する際、ツリーレイアウトの選択、分類学に基づく枝やラベルの色付け、クレードの折りたたみ、サポート値の表示、またはツリーへのオーバーレイ追加が必要な場合に使用してください。系統推定（protein-phylogenyスキルを使用）やドメイン注釈（今後の独立したスキル）には使用しないでください。
querying-indonesian-gov-data
インドネシア政府の50以上のAPIとデータソースに接続できます。BPJPH（ハラール認証）、BOM（食品安全）、OJK（金融適正性）、BPS（統計）、BMKG（気象・地震）、インドネシア中央銀行（為替レート）、IDX（株式）、CKAN公開データポータル、pasal.id（第三者法MCP）に対応しています。インドネシア政府データを活用したアプリ開発、.go.idウェブサイトのスクレイピング、ハラール認証の確認、企業の法的適正性の検証、金融機関ステータスの照会、またはインドネシアMCPサーバーへの接続時に使用できます。CSRF処理、CKAN API使用方法、IP制限回避など、すぐに実行可能なPythonパターンを含んでいます。