Comment bloquer temporairement GoogleBot d’indexer un contenu

Il est bien connu qu’un site web vivant est un site qui est souvent mis à jour, et donc amélioré au fil du temps.

Pour ce faire, un webmaster peut vouloir tester un script ou un widget sans que celui-ci ne soit rapidement indexé par GoogleBot.

Comment bloquer temporairement GoogleBot

Le cas traité récemment par John Mueller dans le forum des webmasters concerne le site d’un webmaster qui se plaint du fait que son site ait disparu depuis un certain temps des pages de résultats de .

Un site sur lequel le webmaster reconnaît avoir effectué de nombreuses mises à jours ces derniers temps.

C’est alors que John Mueller répond pour expliquer, qu’en pareille situation, il existe plusieurs possibilités pour bloquer GoogleBot afin de l’empêcher d’indexer une page spécifique. Cependant, la technique à mettre en place pourrait dépendre de la période pendant laquelle vous mettez ce blocage en place.

Voici les conseils de John Mueller rapportés par Barry Schwartz :

  • Si vous ne voulez pas que le contenu soit indexé, notamment lorsque vous voulez faire des tests, vous pouvez vous servir de votre fichier robots.txt pour indiquer à GoogleBot le fichier à ne pas indexer.

Toutefois, John Mueller déconseille formellement de faire des allers-retours incessants pour un même contenu entre toutes ces différentes techniques de blocage. Au risque de perturber ou désorienter GoogleBot.

Et John Mueller de poursuivre :

En d’autres termes :

“…Supprimer le contenu de la recherche et puis le ramener peu parfois se traduire pour nous (Google, NDLR) de ne pas l’indexer aussi vite que vous le souhaitez et cela pourrait prendre un peu plus de temps pour que les pages reviennent dans les pages de résultats.

Si vous pouvez éviter cela en effectuant vos tests, par exemple, sur un site distinct qui n\’est pas indexé par Google, ce serait préférable. “