llms.txt

La creciente dependencia de los modelos de lenguaje en la información de los sitios web ha llevado a una limitación crítica: las ventanas de contexto son demasiado pequeñas para manejar la mayoría de los sitios web en su totalidad. Para abordar este problema, se propone el uso de un archivo llms.txt en la raíz del dominio, que proporcione información concisa y estructurada para que los modelos de lenguaje puedan entender el sitio web de manera efectiva. El archivo llms.txt utiliza Markdown y sigue un formato específico, que incluye secciones para la descripción del proyecto, listas de archivos y enlaces a información adicional. Esta propuesta busca proporcionar una forma estándar para que los sitios web ofrezcan información a los modelos de lenguaje, lo que puede ser especialmente útil en casos como entornos de desarrollo, donde los modelos de lenguaje necesitan acceso rápido a documentación y APIs. El uso de llms.txt puede ayudar a los desarrolladores a encontrar su camino en la documentación de software, a las empresas a describir su estructura y a los modelos de lenguaje a entender mejor el contenido de un sitio web. llms.txt resuelve un problema de presupuesto, ya que la ventana de contexto de un modelo es finita, y el HTML de un sitio de documentación gasta la mayor parte en navegación, scripts y markup. Además, llms.txt: el README que tu sistema le da al agente describe la idea de utilizar un archivo llms.txt como un mapa curado de lo que importa en un sitio web, sin el ruido de navegación y scripts.