# Ab Test Analysis

> Analiza resultados de tests A/B con significancia estadística, validación del tamaño de muestra, intervalos de confianza y recomendaciones de ship/extend/stop al evaluar experimentos.

Fuente: https://skillsagentes.com/skills/phuryn/pm-skills/ab-test-analysis
Markdown: https://skillsagentes.com/skills/phuryn/pm-skills/ab-test-analysis.md

Repositorio: https://github.com/phuryn/pm-skills
Autor: phuryn
Licencia: MIT
Actualizado: hace 5 meses
Coste de contexto: 72 tok instalada, 897 tok al activarse, 897 tok con todos los archivos del bundle
Bundle: 1 archivo, 4 KB
Permisos que pide: ninguno declarado

## Instalación

Un skill son archivos markdown: los mismos archivos valen para cualquier agente y lo único que cambia es el directorio de destino, es decir la bandera `--agent`. Añade `-g` para instalarlo en todos los proyectos de la máquina.

```bash
# Claude Code
npx -y skills add phuryn/pm-skills --skill ab-test-analysis --agent claude-code
# Cursor
npx -y skills add phuryn/pm-skills --skill ab-test-analysis --agent cursor
# Codex
npx -y skills add phuryn/pm-skills --skill ab-test-analysis --agent codex
# Gemini CLI
npx -y skills add phuryn/pm-skills --skill ab-test-analysis --agent gemini
# Windsurf
npx -y skills add phuryn/pm-skills --skill ab-test-analysis --agent windsurf
# Cline
npx -y skills add phuryn/pm-skills --skill ab-test-analysis --agent cline
```

## Qué hace

- Valida el tamaño de muestra, la duración y la randomización del test antes de analizarlo
- Calcula tasa de conversión, lift relativo, p-value e intervalo de confianza al 95%
- Revisa métricas guardrail para detectar si una mejora en la métrica principal esconde una regresión
- Genera scripts de Python para los cálculos estadísticos si el usuario aporta datos en bruto
- Da una recomendación final: Ship, Extend, Stop, Investigate o no lanzar

## Cuándo usarla

- Evaluar los resultados de un experimento A/B
- Comprobar si un test alcanzó significancia estadística
- Interpretar datos de un split test
- Decidir si lanzar una variante al 100%

## Qué la activa

- "Analiza los resultados de este test A/B"
- "Este experimento ha alcanzado significancia estadística"
- "Debería lanzar esta variante o extender el test"
- "Interpreta estos datos del split test"

## Archivos

- SKILL.md — 4 KB

## SKILL.md

Reproducido tal cual desde phuryn/pm-skills bajo MIT. Esta sección es el documento original y está en inglés.

## A/B Test Analysis

Evaluate A/B test results with statistical rigor and translate findings into clear product decisions.

### Context

You are analyzing A/B test results for **$ARGUMENTS**.

If the user provides data files (CSV, Excel, or analytics exports), read and analyze them directly. Generate Python scripts for statistical calculations when needed.

### Instructions

1. **Understand the experiment**:
   - What was the hypothesis?
   - What was changed (the variant)?
   - What is the primary metric? Any guardrail metrics?
   - How long did the test run?
   - What is the traffic split?

2. **Validate the test setup**:
   - **Sample size**: Is the sample large enough for the expected effect size?
     - Use the formula: n = (Z²α/2 × 2 × p × (1-p)) / MDE²
     - Flag if the test is underpowered (<80% power)
   - **Duration**: Did the test run for at least 1-2 full business cycles?
   - **Randomization**: Any evidence of sample ratio mismatch (SRM)?
   - **Novelty/primacy effects**: Was there enough time to wash out initial behavior changes?

3. **Calculate statistical significance**:
   - **Conversion rate** for control and variant
   - **Relative lift**: (variant - control) / control × 100
   - **p-value**: Using a two-tailed z-test or chi-squared test
   - **Confidence interval**: 95% CI for the difference
   - **Statistical significance**: Is p < 0.05?
   - **Practical significance**: Is the lift meaningful for the business?

   If the user provides raw data, generate and run a Python script to calculate these.

4. **Check guardrail metrics**:
   - Did any guardrail metrics (revenue, engagement, page load time) degrade?
   - A winning primary metric with degraded guardrails may not be a true win

5. **Interpret results**:

   | Outcome | Recommendation |
   |---|---|
   | Significant positive lift, no guardrail issues | **Ship it** — roll out to 100% |
   | Significant positive lift, guardrail concerns | **Investigate** — understand trade-offs before shipping |
   | Not significant, positive trend | **Extend the test** — need more data or larger effect |
   | Not significant, flat | **Stop the test** — no meaningful difference detected |
   | Significant negative lift | **Don't ship** — revert to control, analyze why |

6. **Provide the analysis summary**:
   ```
   ## A/B Test Results: [Test Name]

   **Hypothesis**: [What we expected]
   **Duration**: [X days] | **Sample**: [N control / M variant]

   | Metric | Control | Variant | Lift | p-value | Significant? |
   |---|---|---|---|---|---|
   | [Primary] | X% | Y% | +Z% | 0.0X | Yes/No |
   | [Guardrail] | ... | ... | ... | ... | ... |

   **Recommendation**: [Ship / Extend / Stop / Investigate]
   **Reasoning**: [Why]
   **Next steps**: [What to do]
   ```

Think step by step. Save as markdown. Generate Python scripts for calculations if raw data is provided.

---

### Further Reading

- [A/B Testing 101 + Examples](https://www.productcompass.pm/p/ab-testing-101-for-pms)
- [Testing Product Ideas: The Ultimate Validation Experiments Library](https://www.productcompass.pm/p/the-ultimate-experiments-library)
- [Are You Tracking the Right Metrics?](https://www.productcompass.pm/p/are-you-tracking-the-right-metrics)

## Dónde encaja

- Categoría: [Datos y analítica](https://skillsagentes.com/categorias/datos-analitica.md) — Consulta, limpia y visualiza datos sin salir del agente.
- Creador: [phuryn](https://skillsagentes.com/creators/phuryn.md) — 0 skills en el directorio
- [Todas las skills](https://skillsagentes.com/skills.md)
- [Ranking de instalaciones](https://skillsagentes.com/ranking.md)

## Otras skills del mismo repositorio

- [Shipping Artifacts](https://skillsagentes.com/skills/phuryn/pm-skills/shipping-artifacts.md): Conjunto de documentación que hace revisable una app construida con IA antes de lanzarla: arquitectura, flujos de usuario/permisos, permisos, variables/secretos y cobertura de tests, más docs condicionales.
- [Intended Vs Implemented](https://skillsagentes.com/skills/phuryn/pm-skills/intended-vs-implemented.md): Método para encontrar la brecha entre lo que un sistema debería hacer y lo que el código realmente hace, el tipo de bug que los escáneres genéricos no ven por falta de un modelo de intención.
- [Strategy Red Team](https://skillsagentes.com/skills/phuryn/pm-skills/strategy-red-team.md): Hace de red-team de un PRD, roadmap o estrategia: ataca sus supuestos críticos antes de que lo haga la realidad. Defiende y ataca cada afirmación, prioriza por impacto x probabilidad x coste y da el test más barato.
- [Swot Analysis](https://skillsagentes.com/skills/phuryn/pm-skills/swot-analysis.md): Realiza un análisis DAFO detallado (fortalezas, debilidades, oportunidades y amenazas) con recomendaciones accionables.
- [Value Proposition](https://skillsagentes.com/skills/phuryn/pm-skills/value-proposition.md): Diseña una propuesta de valor detallada con una plantilla JTBD de 6 partes (Who, Why, What before, How, What after, Alternatives) para crear o articular por qué elegir tu producto.

---

Skills Agentes · [Índice de páginas en markdown](https://skillsagentes.com/sitemap.md) · [Inicio](https://skillsagentes.com/index.md)