WordPress 5.3 devrait changer la façon dont il bloque l\'indexation Google

WordPress a annoncé un changement important à la façon dont il va empêcher les moteurs de

WordPress 5.3 devrait changer la façon dont il bloque l\'indexation Google

Ce changement abandonne la solution traditionnelle Robots.txtRobots Meta Tag.

Et ce, au moment ou annonce son intention de faire du fichier .txt un standard officiel et propose même déjà 5 alternatives à la directive noindex

 

Blocage de l’indexation Google

Le mot «indexation» signifiait l’exploration du site par GoogleBot.

Mais cette directive de

WordPress 5.3 va vraiment prévenir l\’indexation

“Robots Meta Tag”

Cette modification affectera le paramètre .

Ce changement est une amélioration. Les éditeurs peuvent être plus sûrs en sachant que les pages Web bloquées ne seront pas affichées dans les résultats de recherche de Google.

Joost de Valk

Si le robot.txt sur ce domaine empêche le crawling de cette page par un moteur de recherche, il va encore afficher l\’URL dans les résultats s’il peut recueillir … il pourrait être utile de regarder de près.

Ces changements visent à mieux décourager les moteurs de recherche de référencer un site plutôt que de les empêcher de parcourir le site.

Dans les versions précédentes de WordPress, Disallow: / a été ajouté au fichier robots.txt pour empêcher les moteurs de recherche d’explorer le site. Cela a été supprimé pour les sites Web non publics dans WordPress 5.3.

Pourquoi WordPress a-t-il utilisé Robots.txt ?

WordPress s\’est appuyé sur Robots.txt pour bloquer l\’indexation d\’un site Web parce que c\’est ainsi que tout le monde a gardé les pages de s’afficher dans les résultats de recherche de Google. C\’était la façon habituelle de le faire.

Pourtant, même si tout le monde l\’a fait de cette façon, comme expliqué plus haut, c\’était une approche peu fiable.

Le mot « indexation » ayant deux significations

  1. L\’indexation signifie explorer, comme lorsque Googlebot visite et télécharge des pages Web.
  2. L\’indexation peut également signifier l\’ajout d\’une page Web à la base de données de Google des pages Web (qui est appelé l\’index).

Bloquer Google d’indexer une page web l\’empêchera de voir la page Web, mais Google pourrait toujours indexer la page Web et l\’ajouter à l\’index de Google. Est-ce logique ?

Robots.txt Versus Robots Meta Tag

Garder une page web hors de l\’index de Google n\’était pas l\’intention de la solution Robots.txt. Faire cela est le travail de Meta Tag Robots, dixit Searchenginejournal.

Il est donc bon de voir WordPress embrasser Robots Meta Tag comme la solution pour bloquer les pages Web de l\’affichage dans les moteurs de recherche.

La méthode la plus efficace pour exclure les sites en développement d\’être indexés par les moteurs de recherche est d\’inclure le HTTP Header X-Robots-Tag: noindex, nofollow lors de la desserte de tous les actifs pour votre site: images, PDFs, vidéo et autres actifs.

Précisons que l\’en-tête HTTP X-Robots-Tag (exemple : header(\ »X-Robots-Tag: noindex, nofollow\ », true); ) n\’a pas les mêmes objectifs, les mêmes effets et ne s\’implémente pas de la même manière que le fichier Robots.txt. Néanmoins, ces deux méthodes sont très liées.

Et comme la plupart des actifs non-HTML sont servis directement par le serveur Web sur un site WordPress, le logiciel de base est incapable de définir cet en-tête HTTP. Vous devez consulter la documentation de votre serveur Web ou de votre hôte pour vous assurer que ces actifs sont exclus sur les sites en développement.

WordPress 5.3 devrait sortir en Novembre 2019.

Auteur : Noel NGUESSAN

Je suis Noel Nguessan, fondateur du site Arobasenet.com qui existe depuis 2007 et a aujourd'hui plus de 6.800 articles. Pour ma part, j'ai intégré le monde de l'internet en 1997 en qualité de créateur de site internet, avant de devenir développeur web et multimédia au début de l'année 2000, avant de basculer naturellement vers le SEO en tant que Consultant.