Opik

Opik es la plataforma open-source de observabilidad y evaluación de LLMs de Comet, y este servidor MCP permite operarla desde Claude Code, Cursor o VS Code sin salir del chat. Expone seis herramientas que cubren todo el ciclo: leer entidades (trazas, spans, experimentos, prompts, test suites), listarlas con filtros, escribir datos (crear trazas, puntuar, comentar, guardar versiones de prompt, gestionar test suites y experimentos), inspeccionar el esquema de cada operación de escritura, y preguntar cosas a Ollie, el asistente propio de Opik que puede investigar y sintetizar resultados o ejecutar escrituras sobre la marcha.

Para usarlo necesitas Python 3.13+ y se ejecuta con uvx, que descarga y lanza la última versión sin instalación global. Hace falta OPIK_API_KEY de tu cuenta de Comet y opcionalmente OPIK_WORKSPACE si trabajas en un workspace con nombre distinto al predeterminado. En instalaciones self-hosted puedes apuntar el servidor a tu propio Comet con COMET_URL_OVERRIDE, aunque ask_ollie y run_experiment solo funcionan en Comet Cloud.

Soporta transporte stdio (recomendado para uso local con el host de IA) y streamable-http para despliegues remotos con OAuth. Ten en cuenta límites conocidos: Cursor corta las llamadas a los 60 segundos y puede interrumpir consultas largas a ask_ollie, mientras que Claude Code no tiene ese límite.