Comment bloquer temporairement GoogleBot d’indexer un contenu

Il est bien connu qu’un site web vivant est un site qui est souvent mis à jour, et donc amélioré au fil du temps.

Pour ce faire, un webmaster peut vouloir tester un script ou un widget sans que celui-ci ne soit rapidement indexé par GoogleBot.

Comment bloquer temporairement GoogleBot

Le cas traité récemment par John Mueller dans le forum des webmasters concerne le site d’un webmaster qui se plaint du fait que son site ait disparu depuis un certain temps des pages de résultats de .

Un site sur lequel le webmaster reconnaît avoir effectué de nombreuses mises à jours ces derniers temps.

C’est alors que John Mueller répond pour expliquer, qu’en pareille situation, il existe plusieurs possibilités pour bloquer GoogleBot afin de l’empêcher d’indexer une page spécifique. Cependant, la technique à mettre en place pourrait dépendre de la période pendant laquelle vous mettez ce blocage en place.

Voici les conseils de John Mueller rapportés par Barry Schwartz :

  • Si vous ne voulez pas que le contenu soit indexé, notamment lorsque vous voulez faire des tests, vous pouvez vous servir de votre fichier robots.txt pour indiquer à GoogleBot le fichier à ne pas indexer.

Toutefois, John Mueller déconseille formellement de faire des allers-retours incessants pour un même contenu entre toutes ces différentes techniques de blocage. Au risque de perturber ou désorienter GoogleBot.

Et John Mueller de poursuivre :

One thing I\’d try to avoid is quickly fluctuating back & forth. Removing content from search, and then bringing it back can sometimes result in us not recrawling as quickly as you\’d like, and it therefore taking a bit longer for the pages to come back into search. If you can avoid that by running your tests (for example) on a separate site that\’s not indexed, that\’s generally preferred. Of course, if you\’re looking to remove something permanently, that\’s less of an issue.

En d’autres termes :

“…Supprimer le contenu de la recherche et puis le ramener peu parfois se traduire pour nous (Google, NDLR) de ne pas l’indexer aussi vite que vous le souhaitez et cela pourrait prendre un peu plus de temps pour que les pages reviennent dans les pages de résultats.

Si vous pouvez éviter cela en effectuant vos tests, par exemple, sur un site distinct qui n\’est pas indexé par Google, ce serait préférable. “

Auteur : Noel NGUESSAN

Je suis Noel Nguessan, fondateur du site Arobasenet.com qui existe depuis 2007 et a aujourd'hui plus de 6.800 articles. Pour ma part, j'ai intégré le monde de l'internet en 1997 en qualité de créateur de site internet, avant de devenir développeur web et multimédia au début de l'année 2000, avant de basculer naturellement vers le SEO en tant que Consultant.