Umbodi
Commencer
Reçus · robots_named_agent_exempt

Comment un agent SEO maintient-il sans risque les robots nommés dans les règles de robots.txt ?

Umbodi ajoute les règles Disallow du site à chaque groupe de robot nommé qui y échappe, seulement si le propriétaire a accepté les changements de politique des robots, le publie dans une pull request, et vérifie que le fichier est en ligne.

Non corrigé par Umbodi sur son propre site — impossible à y planter

Ce que c’est, et pourquoi c’est important

Un robot n’obéit qu’au groupe le plus précis qui le nomme. Un groupe pour GPTBot avec seulement « Allow: / » le laisse lire des chemins — /admin, /api — interdits à tous les autres.

Comment il est détecté

Se déclenche quand un groupe qui nomme un robot ne porte aucun des chemins Disallow du groupe général. Gravité : avertissement.

Comment il est corrigé

L’agent ajoute les chemins Disallow généraux à chaque groupe nommé qui y échappe, dans un bloc délimité qu’il gère, pour que la politique affichée soit celle que les robots suivent. Écrire un nouveau robots.txt exige la politique choisie par le propriétaire pour les robots d’IA (autoriser ou bloquer) ; sans elle, l’agent s’arrête et demande.

Le changement arrive sur le site sous forme de pull request qui ajoute ou modifie un fichier à la racine web du dépôt, ouverte par l’application GitHub d’Umbodi. Les blocs générés sont placés entre des délimiteurs que l’agent gère : les lignes écrites à la main ne sont jamais réécrites.

Quand l’agent peut agir sans personne

La valeur est déduite des données du site : le changement est marqué mécanique et aucun seuil de score ne s’applique. Il ne s’applique pourtant que si le propriétaire a activé l’action sans surveillance et réglé la jauge d’autonomie de cette catégorie sur automatique ; la fusion demande un accord distinct.

Comme cela change ce que les robots peuvent lire, il y a un contrôle de plus : le propriétaire doit avoir accepté, pour le projet, les changements de politique des robots. Sans cela, l’agent propose et attend.

Une proposition sur dix est mise de côté comme groupe témoin — choisie par un hachage fixe par projet, pas à la main — et n’est jamais appliquée sans surveillance, pour mesurer l’effet des corrections par rapport à celles non faites.

Comment la correction est vérifiée

Après la fusion de la pull request et l’apparition du déploiement en production, l’agent lit le fichier en ligne et le compare au diff de la fusion : chaque ligne ajoutée doit y être, et un changement qui ne faisait que retirer des lignes doit les voir disparues. Sinon, le fichier est relu jusqu’à cinq fois, environ deux heures et demie, puis l’agent annule sa propre fusion.

Quand il s’arrête plutôt

Il s’arrête, en disant pourquoi, quand le fichier en ligne est généré par le code du site plutôt que servi depuis le dépôt — une pull request ne changerait rien —, quand le fichier du dépôt dit déjà la même chose, quand un changement de robots.txt exige une politique que le propriétaire n’a pas choisie, ou selon les mêmes règles de fusion et de déploiement que les pages. Il n’annule jamais sur un fichier inaccessible.

Le reçu de ce site

Notre site n’offre aucun endroit où planter ce défaut sans casser quelque chose de réel : il n’y a donc pas de reçu en ligne. La correction n’est prouvée que par la suite de tests. La raison, telle que le code l’énonce :

plantable in principle and not built: the plant is a named group with `Allow: /` on the live robots.txt — the exact defect #912 removed, exempting a crawler from /admin and /api/ for up to 52 hours — and it needs a new robots edit plus a DRILL_EXCUSES entry, because test/robots-own-named-groups.test.mjs fails every pull request while the plant is open. Measured 2026-10-09: our robots.txt names ten crawlers and none escapes. Listed rather than attempted for the same reason as sitemap_url_not_indexable: a drill that re-opens what a fix just closed should be a decision, not a side effect of adding the code.

Dernière vérification 2026-10-11 08:43 UTC

Ce que cela prouve, et ce que cela ne prouve pas

Seulement ce que prouve la suite de tests : le chemin du constat à la correction vérifiée fonctionne sur des cas d’essai. Rien sur cette page n’affirme que cela s’est produit en ligne.

Cela ne prouve aucun changement de classement ni de citation. Umbodi n’en déduit jamais d’une correction : le classement est mesuré à part, sur Google, et rapporté tel que mesuré. Un reçu montre aussi que le chemin fonctionne sur ce site, pas sur tous les sites.

Questions sur ce défaut.

Comment un agent SEO maintient-il sans risque les robots nommés dans les règles de robots.txt ?

Umbodi ajoute les règles Disallow du site à chaque groupe de robot nommé qui y échappe, seulement si le propriétaire a accepté les changements de politique des robots, le publie dans une pull request, et vérifie que le fichier est en ligne.

Umbodi a-t-il corrigé ce défaut sur son propre site ?

Pas en ligne. Notre site n’offre aucun endroit où le planter sans casser quelque chose de réel : la correction n’est prouvée que par la suite de tests, et cette page dit pourquoi.

Chaque type de défaut, avec son reçu.

La page des reçus liste chaque type de défaut que l’agent corrige seul, et ceux qu’il a déjà corrigés en ligne sur ce site.

Umbodi agit selon votre mandat — un agent autonome pour la visibilité dans la recherche et les réponses IA. Il trouve le travail, le livre, et mesure ce qui s'est passé.
Umbodi™ est une marque d’I-Novanet Software Ltd. Demande acceptée à Maurice (MU/M/2026/44210).