Serge

Serge es una interfaz de chat pensada para ejecutar modelos LLaMA con llama.cpp de forma totalmente local, sin necesidad de claves de API ni servicios externos. El frontend está hecho con SvelteKit, usa Redis para guardar el historial de chats y los parámetros, y expone una API construida con FastAPI y LangChain que envuelve las llamadas a llama.cpp a través de sus bindings de Python.

Todo el proyecto está dockerizado: se levanta con un único docker run o con docker compose, montando volúmenes para los pesos del modelo (weights) y la base de datos (datadb). Una vez arriba, la interfaz queda disponible en http://localhost:8008 y la documentación de la API en http://localhost:8008/api/docs.

La configuración se ajusta con variables de entorno como SERGE_DATABASE_URL para la cadena de conexión a la base de datos, SERGE_JWT_SECRET para cifrar los tokens de autenticación, SERGE_SESSION_EXPIRY para la duración de la sesión antes de requerir reautenticación, y NODE_ENV para el entorno de ejecución de Node.js. Requiere suficiente memoria RAM disponible para cargar el modelo, ya que de lo contrario el proceso puede fallar.