GoogleBot ne peut pas lire un fichier robots.txt sur WP dans 26% des cas

Googlebotrobots.txt et qu’il est inaccessible, alors qu’il existe, n’explorera pas votre site en entier.

1 fois sur 4, GoogleBot ne peut pas atteindre un fichier robots.txt sur WP


Google a en effet déclaré qu’environ dans 26% du temps, GoogleBot ne peut pas atteindre un fichier robots.txt

Maintenant, avec , Joost de Valk du plugin Yoast déclare :

Pour les sites pour lesquels vous ne pouvez pas atteindre les robots.txt, est-ce un sous-ensemble de ces sites WordPress ? Un sous-ensemble plus grand que vous attendez normalement peut-être ?

Il ajoute :

Nous essayons de comprendre si nous devrions être plus sûrs dans la façon dont WordPress génère les fichiers robots.txt.

Réponse Gary Illyes de chez Google :

de vraiment mauvais si le robots.txt revient avec un code 5xx.

Ceci étant dit, je vais analyser, comme ça je pourrais dire quelque chose de sûr.

Joost précise sa question :

La raison pour laquelle je demande, c’est que , ce qui pourrait causer des erreurs de serveur à certains moments.

Si cela conduit à des erreurs plus que la moyenne, nous pourrions changer WordPress pour avoir juste un qui soit statique.

C’est alors que Barry Schartz de Seroudtable.com relance à nouveau le débat, toujours sur :

WordPress pourrait apporter des changements à la façon dont il gère sa génération de robots.txt sur la base des dernières informations sur les robots.txt inaccessibles et les conséquences autour de cela pour le crawling.

Gary Illyes :

Nous avons dit que des robots.txt inaccessibles est mauvais pour vous (WordPress, NDLR). John Mueller et moi avons rédigé des modèles de message exactement depuis 2011.

S’en suit l\’aveu de Joost (plugin Yoast SEO) :

Oui, je le sais depuis longtemps. Les statistiques étaient intéressantes cependant, jamais su que les étaient si élevés.

Enfin, en réaction au post de Seroundtable, un commentateur écrit :

Dans WordPress, le fichier “robots.txt” est virtualisé. C\’est-à-dire que vous ne pouvez pas voir le fichier sur le système des fichiers, mais vous pouvez y accéder à partir du Web.

Cela se produit parce que WordPress a besoin de contrôler dynamiquement le contenu de ce fichier.

Voici des ressources pour développeurs :

https://developer.wordpress.org/reference/functions/do_robots/

https://developer.wordpress.org/reference/hooks/robots_txt/

Par conséquent, n\’importe quel plugin peut gérer cela et il suffit de faire quelque chose là-dessus.

Mais si vous avez besoin de l’emporter, alors créez un fichier robots.txt pour exclure cette fonctionnalité.

Auteur : Noel NGUESSAN

Je suis Noel Nguessan, fondateur du site Arobasenet.com qui existe depuis 2007 et a aujourd'hui plus de 6.800 articles. Pour ma part, j'ai intégré le monde de l'internet en 1997 en qualité de créateur de site internet, avant de devenir développeur web et multimédia au début de l'année 2000, avant de basculer naturellement vers le SEO en tant que Consultant.