Google : Les pages bloquées par robots.txt sont indexées sauf si…

qui pointent vers elles.

Google : Les pages bloquées par robots.txt sont indexées sauf si...

Ceci pourrait devenir un problème parce que dû au fait que le fichier robots.txt interdit de les explorer.

En effet, vous pouvez avoir publié un article qui a été partagé durant un certain temps, avant de décider d’en interdire l’accès via robots.txt. Alors, forcément, des liens pointant vers cet article pourraient permettre à des utilisateurs de vouloir le lire.

utiliser une balise Meta noindex.

cette page

\ »rejeter\ »

Voici la réponse complète de John Mueller :

théoriquement

Et si c’est le cas, alors il pourrait arriver que indexe cette URL sans aucun contenu parce qu’elle a été bloquée par robots. txt.

Et ce, en raison du fait que Google ne sait pas que vous ne voulez pas que ces pages ne soient pas réellement indexées.

Alors que si elles ne sont pas bloquées par robots. txt, vous pouvez mettre une balise Meta noindex sur ces pages.

Par conséquent, si vous avez quelque chose sur ces pages que vous ne voulez pas qu’elles soient indexées, ce n’est pas la peine d’interdire leur accès avec le fichier robots.txt.

Utilisez simplement la balise Meta noindex.

La question et la réponse complète de John Mueller dans la ci-dessous (24:36) :

En fait, Google recommande depuis 2 ou 3 ans de ne pas bloquer l\’accès de Googlebot  à tous les fichiers du site, sans exception.

Auteur : Noel NGUESSAN

Je suis Noel Nguessan, fondateur du site Arobasenet.com qui existe depuis 2007 et a aujourd'hui plus de 6.800 articles. Pour ma part, j'ai intégré le monde de l'internet en 1997 en qualité de créateur de site internet, avant de devenir développeur web et multimédia au début de l'année 2000, avant de basculer naturellement vers le SEO en tant que Consultant.