Trafilatura

Trafilatura es una librería Python y herramienta de línea de comandos pensada para recolectar texto en la web y convertir HTML en bruto en datos estructurados. No es un simple scraper genérico: combina algoritmos propios con métodos conocidos como jusText y readability para separar el contenido relevante de cabeceras, menús y otros elementos repetitivos.

Lo que permite hacer es rastrear sitios a partir de sitemaps (TXT, XML) o feeds (ATOM, JSON, RSS), procesar URLs en vivo o archivos HTML ya descargados, y extraer el texto principal junto con metadatos como título, autor, fecha, nombre del sitio, categorías y etiquetas. También puede recuperar elementos opcionales como comentarios, enlaces, imágenes y tablas, conservando la estructura en párrafos, listas, citas o bloques de código.

Los resultados se pueden obtener en varios formatos: TXT, Markdown, CSV, JSON, HTML, XML y XML-TEI. Según el README, la herramienta destaca en comparativas de extracción de contenido web frente a otras librerías de código abierto, priorizando un equilibrio entre precisión y cobertura.