Xiaozhi ESP32

xiaozhi-esp32-server es el servicio backend que da vida a los dispositivos de hardware abierto xiaozhi-esp32, implementando el protocolo de comunicación de Xiaozhi mediante Python, Java y Vue. Gestiona la conversación por voz de extremo a extremo: reconocimiento de voz en streaming (ASR), detección de actividad de voz (VAD), síntesis de voz (TTS), reconocimiento de locutor por huella vocal y comprensión de intención mediante modelos de lenguaje.

El servidor expone puertas de entrada MQTT+UDP, WebSocket y HTTP, e incluye soporte para el protocolo MCP tanto en el cliente IoT como en el servidor, con puntos de acceso MCP para enviar instrucciones a los dispositivos ESP32 desde el panel de control. También integra memoria a corto y largo plazo, base de conocimiento vía RAGFlow y un sistema de plugins con carga en caliente.

Desplegarlo requiere elegir entre una instalación mínima (todo en archivos de configuración, sin base de datos) o una instalación completa con base de datos, gestión multiusuario y multiagente, disponibles tanto en Docker como en código fuente. El proyecto exige hardware ESP32 real para tener sentido: está pensado para quien ya integró el firmware xiaozhi-esp32 y quiere levantar su propio backend en lugar de depender de un servicio de terceros.