robots_blocks_crawlers
Umbodi levanta un bloqueo de todo el sitio a un gran rastreador de búsqueda, conserva las demás reglas y solo actúa si el propietario aceptó los cambios de política de rastreadores; después comprueba que el archivo está en vivo.
No corregido por Umbodi en su propio sitio — no se puede plantar allí
Un Disallow de todo el sitio para Googlebot, Bingbot o todos los rastreadores pide a la web de búsqueda que olvide el sitio. Si queda de una versión de pruebas, saca el sitio de la búsqueda.
Se activa cuando robots.txt prohíbe todo el sitio a un gran rastreador: Googlebot, Bingbot o todos. Gravedad: error.
El agente elimina el bloqueo de todo el sitio para ese rastreador dentro de un bloque delimitado que gestiona y deja intactas las demás reglas del sitio. Escribir un robots.txt nuevo requiere la política del propietario para los rastreadores de IA (permitir o bloquear); sin ella, el agente se detiene y pregunta.
El cambio llega al sitio como una pull request que añade o edita un archivo en la raíz web del repositorio, abierta por la app de GitHub de Umbodi. Los bloques generados van entre delimitadores que gestiona el agente, así que las líneas escritas a mano nunca se reescriben.
El valor se deriva de los datos del propio sitio, así que el cambio se marca como mecánico y no se aplica umbral de puntuación. Aun así, solo se aplica si el propietario activó la acción sin supervisión y puso el dial de autonomía de esta categoría en automático; fusionar requiere un permiso aparte.
Como cambia lo que pueden leer los rastreadores, hay un control más: el propietario debe haber aceptado para el proyecto los cambios de política de rastreadores. Sin eso, el agente propone y espera.
Una propuesta de cada diez se reserva como grupo de control —elegida por un hash fijo por proyecto, no a mano— y nunca se aplica sin supervisión, para medir el efecto de las correcciones frente a las no hechas.
Tras fusionar la pull request y aparecer el despliegue en producción, el agente lee el archivo en vivo y lo compara con el propio diff de la fusión: cada línea añadida debe estar, y un cambio que solo quitaba líneas debe haberlas eliminado. Si no, el archivo se relee hasta cinco veces, unas dos horas y media, y después el agente revierte su propia fusión.
Se detiene, y dice por qué, cuando el archivo en vivo lo genera el código del sitio en lugar de servirse desde el repositorio —una pull request no cambiaría nada—, cuando el archivo del repositorio ya dice lo mismo, cuando un cambio de robots.txt requiere una política que el propietario no ha elegido, o según las mismas reglas de fusión y despliegue que las páginas. Nunca revierte sobre un archivo que no puede obtener.
Nuestro sitio no tiene dónde plantar este defecto sin romper algo real, así que no hay recibo en vivo. La corrección solo está demostrada en la batería de pruebas. El motivo, tal como lo dice el código:
the plant is "Disallow: / on the live robots.txt" for up to 52 hours — telling every crawler to stop reading umbodi.ai. On a site whose entire product is search and AI-answer visibility that is not a worse snippet, it is the worst available outcome, and it would also suppress the rank measurements every other drill depends on. Measured 2026-10-07: our robots.txt currently disallows 2 admin prefixes and allows everything else.
Última verificación 2026-10-11 08:43 UTC
Solo lo que demuestra la batería de pruebas: el camino del hallazgo a la corrección verificada funciona con casos de prueba. Nada en esta página afirma que haya ocurrido en vivo.
No demuestra ningún cambio de posición ni de citas. Umbodi nunca lo deduce de una corrección: la posición se mide aparte, en Google, y se informa tal como se mide. Un recibo también muestra que el camino funciona en este sitio, no en todos.
Umbodi levanta un bloqueo de todo el sitio a un gran rastreador de búsqueda, conserva las demás reglas y solo actúa si el propietario aceptó los cambios de política de rastreadores; después comprueba que el archivo está en vivo.
No en vivo. Nuestro sitio no tiene dónde plantarlo sin romper algo real, así que la corrección solo está demostrada en la batería de pruebas, y esta página explica por qué.
La página de recibos lista cada tipo de defecto que el agente corrige por sí solo y cuáles ya ha corregido en vivo en este sitio.