Analiza resultados de tests A/B con significancia estadística, validación del tamaño de muestra, intervalos de confianza y recomendaciones de ship/extend/stop al evaluar experimentos.
en todo el repo
0–100, la ruta de este skill
último commit aquí
últimos 90 días
72 tok en reposo
4 KB
Funciona con cualquier agente que lea SKILL.md
npx -y skills add phuryn/pm-skills --skill ab-test-analysis --agent claude-codeSe instala solo en este repositorio.
Di cualquiera de estas frases y el agente debería cargar este skill.
Evaluate A/B test results with statistical rigor and translate findings into clear product decisions.
You are analyzing A/B test results for $ARGUMENTS.
If the user provides data files (CSV, Excel, or analytics exports), read and analyze them directly. Generate Python scripts for statistical calculations when needed.
Understand the experiment:
Validate the test setup:
Calculate statistical significance:
If the user provides raw data, generate and run a Python script to calculate these.
Check guardrail metrics:
Interpret results:
| Outcome | Recommendation |
|---|---|
| Significant positive lift, no guardrail issues | Ship it — roll out to 100% |
| Significant positive lift, guardrail concerns | Investigate — understand trade-offs before shipping |
| Not significant, positive trend | Extend the test — need more data or larger effect |
| Not significant, flat | Stop the test — no meaningful difference detected |
| Significant negative lift | Don't ship — revert to control, analyze why |
Provide the analysis summary:
## A/B Test Results: [Test Name]
**Hypothesis**: [What we expected]
**Duration**: [X days] | **Sample**: [N control / M variant]
| Metric | Control | Variant | Lift | p-value | Significant? |
|---|---|---|---|---|---|
| [Primary] | X% | Y% | +Z% | 0.0X | Yes/No |
| [Guardrail] | ... | ... | ... | ... | ... |
**Recommendation**: [Ship / Extend / Stop / Investigate]
**Reasoning**: [Why]
**Next steps**: [What to do]
Think step by step. Save as markdown. Generate Python scripts for calculations if raw data is provided.
Reproducido de phuryn/pm-skills bajo licencia MIT. Leer esta página en markdown.
1 archivo en el paquete. Solo se lee SKILL.md al activarse — las referencias se cargan si el skill decide que las necesita.
Este repo incluye 68 skills. Si instalas uno, normalmente ya tienes los demás.
Método para encontrar la brecha entre lo que un sistema debería hacer y lo que el código realmente hace, el tipo de bug que los escáneres genéricos no ven por falta de un modelo de intención.
Conjunto de documentación que hace revisable una app construida con IA antes de lanzarla: arquitectura, flujos de usuario/permisos, permisos, variables/secretos y cobertura de tests, más docs condicionales.
Hace de red-team de un PRD, roadmap o estrategia: ataca sus supuestos críticos antes de que lo haga la realidad. Defiende y ataca cada afirmación, prioriza por impacto x probabilidad x coste y da el test más barato.
Analiza y prioriza una lista de solicitudes de funcionalidades por tema, alineación estratégica, impacto, esfuerzo y riesgo. Se usa al revisar peticiones de clientes o priorizar el backlog.
Genera un análisis de matriz de Ansoff que mapea estrategias de crecimiento entre penetración de mercado, desarrollo de mercado, desarrollo de producto y diversificación.
Identifica el primer segmento de mercado beachhead para el lanzamiento de un producto. Evalúa segmentos por dolor urgente, disposición a pagar, cuota de mercado ganable y potencial de referidos.
Realiza análisis de cohortes sobre datos de engagement de usuarios: curvas de retención, tendencias de adopción de funcionalidades e insights a nivel de segmento.
Define y diseña un dashboard de métricas de producto con las métricas clave, fuentes de datos, tipos de visualización y umbrales de alerta. Úsalo para definir KPIs o montar un plan de monitoreo de datos.
Define una North Star Metric y de 3 a 5 métricas de entrada que forman una constelación de métricas. Clasifica el juego de negocio (Atención, Transacción, Productividad) y valida contra 7 criterios.
