Lemonade SDK

Lemonade es un servidor de IA local que permite descargar y ejecutar modelos de chat, generación de código, voz e imagen directamente sobre el hardware del usuario (GPU o NPU), sin depender de servicios en la nube. El proyecto ofrece dos formas de uso: Lemonade Server, que instala un servicio al que te puedes conectar desde cientos de aplicaciones usando las APIs estándar de OpenAI, Anthropic y Ollama, y Embeddable Lemonade, un binario portable que se puede empaquetar dentro de una aplicación propia para darle capacidades de IA local multimodal que se auto-optimizan según el equipo del usuario.

Desde la línea de comandos se pueden listar y descargar modelos (lemonade list, lemonade pull), ejecutarlos (lemonade run), definir alias con failover activo-pasivo entre modelos (lemonade alias), y consultar qué backends de inferencia están disponibles en la máquina (lemonade backends). El servidor soporta modelos GGUF, FLM y ONNX para texto, además de motores para transcripción de voz, texto a voz, generación de imagen y generación 3D, con distintos backends según el hardware (CPU, CUDA, ROCm, Vulkan, NPU XDNA2, Metal).

Para integrarlo en una aplicación o agente basta con apuntar cualquier cliente compatible con OpenAI a http://localhost:13305/v1 (o /api/v1), usando el nombre del modelo descargado y una clave de API ficticia, ya que Lemonade no requiere autenticación real. También admite enrutar solicitudes híbridas hacia proveedores en la nube compatibles con OpenAI (Fireworks, OpenAI, OpenRouter, Together) de forma experimental.