IndexNow : L’outil d’indexation rapide de Microsoft Bing

IndexNow est un protocole d’indexation évolutif qui peut changer radicalement la façon dont le contenu est indexé par tous les moteurs de recherche.

IndexNow : Faut-il utiliser cet outil d’indexation rapide de Microsoft ? a annoncé IndexNow, une évolution majeure dans la façon dont tous les moteurs de recherche peuvent découvrir et indexer le contenu.

IndexNow est en open source et est ouvert à tous les moteurs de recherche participants. Lorsque du contenu est publié ou mis à jour sur un site Web, IndexNow avertit tous les moteurs de recherche participants, ce qui réduit considérablement le temps d’indexation.

IndexNow permet aux propriétaires de sites Web d’informer instantanément les moteurs de recherche des dernières modifications apportées à leur site Web.

Dans sa forme la plus simple, IndexNow est un ping simple qui permet aux moteurs de recherche de savoir qu’une URL et son contenu ont été ajoutés, mis à jour ou modifiés, et de refléter rapidement cette modification dans leurs résultats de recherche.

Sans IndexNow, cela peut prendre plusieurs jours ou semaines pour que les moteurs de recherche découvrent que le contenu a été modifié, car les moteurs de recherche n’explorent pas chaque URL fréquemment.

Avec IndexNow, les moteurs de recherche savent immédiatement que « des URL ont été modifiées, ce qui leur permet d’explorer en priorité ces URL et ainsi de limiter le crawl organique pour découvrir le nouveau contenu ».

IndexNow est fourni selon les conditions de la licence Creative Commons Attribution – Partage dans les mêmes conditions et bénéficie du support et Yandex.

Le partage IndexNow entre les moteurs de recherche débutera en Novembre 2021. Il y a une limite de 10.000 URL par jour.

Le protocole IndexNow est ouvert à tous les moteurs de recherche ayant une présence notable sur au moins un marché.

Évolution de l’indexation du moteur de recherche de Pull à Push

Il existe deux façons pour les moteurs de recherche d’obtenir des données de page Web : Pull et Push.

“Pull” se produit lorsqu’un robot d’exploration de moteur de recherche visite un site pour demander des pages Web et « extrait » les données du serveur. C’est ainsi que les moteurs de recherche fonctionnent traditionnellement.

Ce qu’IndexNow fait, c’est changer la découverte du contenu en méthode Push où un CMS comme WordPress indique aux moteurs de recherche quand le contenu a été publié ou mis à jour.

L’avantage pour les éditeurs est qu’ils n’ont plus à attendre que les moteurs de recherche explorent et découvrent le contenu.

Les moteurs de recherche le savent immédiatement et visitent le site pour récupérer les pages nouvelles ou mises à jour.

Selon l’annonce de Microsoft :

… Historiquement, l’un des plus grands problèmes pour les propriétaires de sites Web a été de faire en sorte que les moteurs de recherche découvrent et prennent en compte rapidement les derniers changements de leur site Web.

Cela peut prendre des jours, voire des semaines, pour que de nouvelles URL soient découvertes et indexées dans les moteurs de recherche, ce qui entraîne une perte de trafic potentiel, de clients et même de ventes.

… Une fois que les moteurs de recherche sont informés des mises à jour, ils explorent rapidement et reflètent les changements du site Web dans leur index et leurs résultats de recherche.

 

Qui est derrière IndexNow

IndexNow a été créé par et Yandex. Le protocole est open source et ouvert à tous les moteurs de recherche qui désirent y participer.

Lorsqu’un moteur de recherche est informé d’une page Web mise à jour ou modifiée, tous les moteurs de recherche participants en seront immédiatement informés.

IndexNow est un nouveau protocole créé par Bing et Yandex, permettant aux sites Web d’avertir facilement les moteurs de recherche chaque fois que le contenu de leur site Web est créé, mis à jour ou supprimé. En utilisant une API.

 

Comment IndexNow profite aux éditeurs

IndexNow profite aux éditeurs car il réduira les demandes d’exploration sur le serveur, les moteurs de recherche n’auront pas besoin d’effectuer des crawls exploratoires pour vérifier si les pages Web ont été mises à jour et cela réduit le temps de découverte et d’indexation du contenu.

La réduction de la charge du serveur aide le serveur à fonctionner de manière optimale sans le fardeau supplémentaire de la diffusion redondante des pages Web que les moteurs de recherche ont déjà.

En fin de compte, cela profite au monde en réduisant les demandes d’énergie d’explorer et indexer et en aidant à réduire les pressions du réchauffement climatique.

Le communiqué de Bing note :

IndexNow est une initiative pour un Internet plus efficace… Les propriétaires de sites Web fournissent un signal clair aidant les moteurs de recherche à hiérarchiser l’exploration de ces URL, limitant ainsi le besoin de crawling exploratoire pour tester si le contenu a changé…

À l’avenir, les moteurs de recherche ont l’intention de limiter l’exploration des sites Web adoptant IndexNow.

Les grandes entreprises adoptent le nouveau protocole

Microsoft a annoncé que de grandes entreprises comme « eBay, LinkedIn, MSN, GitHub et Bizapedia » prévoient de migrer vers IndexNow à partir de l’API de soumission d’URL de Bing.

On présume que d’autres grandes entreprises emboîteront le pas parce que les avantages du nouveau système sont évidents.

Pour cette raison, les petites entreprises peuvent envisager d’adopter également le nouveau protocole afin de rester compétitives et d’améliorer leur indexation.

Comment fonctionne le nouveau protocole?

Il existe 3 façons suggérées pour soumettre des URL.

  1. Intégration d’IndexNow :La première façon est celle par laquelle OnCrawl et Botify ont l’intention d’intégrer IndexNow.
  2. Soumission directe via l’API :La deuxième méthode est une soumission directe via une API.Les développeurs peuvent utiliser une API pour soumettre automatiquement des URL à IndexNow.Le communiqué la décrit comme ceci :

     

  3. Intégration avec CMS et CDN :Mais la troisième façon peut être la façon dont la plupart des sites s’interfaceront avec IndexNow, accédant au nouveau protocole via une fonction native au cœur de tout CMS utilisé par un éditeur.Wix et Duda reconnaissent l’avantage pour les utilisateurs et sont déjà à bord avec des plans pour fournir la nouvelle fonctionnalité à leurs utilisateurs.Cloudflare et Akamai soutiennent également le nouveau protocole IndexNow.

    En attente de WordPress ?

    Alors que des concurrents comme Wix et Dude ont reconnu l’importance d’IndexNow, WordPress semble traîner les pieds sur le nouveau protocole.

    Peut-être que WordPress va l’adopter, mais au cours des 7 derniers mois, les principaux développeurs ont discuté de la proposition sans résolution apparente.

    Selon le ticket de développement WordPress public, il ne semble pas y avoir encore de décision à ce sujet.

    Néanmoins, Microsoft a soumis le code open source IndexNow à WordPress pour inclusion dans le core (noyau ou coeur).

    S’il est adopté par WordPress, il sera automatique qu’un éditeur puisse choisir de soumettre ses URL via IndexNow.

    En réponse à une question des développeurs principaux de WordPress, Microsoft a révélé que les éditeurs pourront choisir les moteurs de recherche auxquels soumettre leurs modifications et leurs nouvelles URL.

    Cela signifie qu’ils peuvent empêcher des moteurs de recherche spécifiques de recevoir les données sur leurs pages.

    Selon le ticket de développement WordPress, le représentant de Microsoft a déclaré :

    WordPress et d’autres administrateurs de CMS pourront sélectionner les acteurs de l’industrie qu’ils souhaitent notifier, y compris tout le monde via des services centralisés s’ils souhaitent tous notifier.

     

    IndexNow est l’évolution de l’indexation des moteurs de recherche

    IndexNow est un gros deal car il s’agit d’un changement majeur dans la façon dont les moteurs de recherche peuvent découvrir les documents mis à jour et nouvellement publiés.

    Il profite aux éditeurs avec une indexation rapide et moins de charge de serveur des robots qui explorent constamment leurs pages Web.

    L’adoption par les principaux moteurs de recherche sera une évolution de la relation entre les éditeurs et les moteurs de recherche qui profitera aux deux.

    Car, IndexNow prétend résoudre ce problème d’exploration à outrance en éliminant les crawls redondants et en se concentrant uniquement sur les pages nouvelles ou mises à jour.

    Mais tout le monde n’est pas convaincu.

    Certains membres de la communauté de recherche (SEO) ont exprimé des doutes sur chaque avantage qu’IndexNow prétend fournir, y compris l’affirmation selon laquelle moins de pages seront explorées.

    Yoast refuse d’adopter IndexNow

    Joost de Valk, fondateur du plugin Yoast WordPress SEO a tweeté une série de déclarations remettant en question la valeur offerte par IndexNow.

    Il a déclaré que le plugin Yoast n’adopterait pas la norme IndexNow.

     

    Hier, Microsoft Bing a présenté IndexNow, un nouveau standard pour « indexer instantanément » le contenu. Il le fait en conjonction avec Yandex.

    Nous n’avons pas encore ajouté de support à @yoast SEO pour cela, pour la simple raison que nous ne voyons pas encore la valeur.

    Joost a ensuite exposé le cas qu’IndexNow résout un problème qui a déjà une solution.

    Il a affirmé que les sitemaps au format XML accomplissent déjà ce qu’IndexNow essaie de faire.

     

    Depuis que les sitemaps XML ont été conçus, la découverte d’URL en ce qui nous concerne est un « problème résolu ».

    Pour la plupart des sites, amener les moteurs de recherche à explorer le contenu n’est pas un problème.

    Yoast SEO génère des sitemaps XML et peut même envoyer un ping aux moteurs de recherche lorsque ceux-ci changent.

     

    En attendant que Google adopte IndexNow ?

    Comme Joost, Ammon Johns (@Ammon_Johns), expert de longue date en marketing de recherche au Royaume-Uni, lui non plus n’était pas enthousiaste à propos d’IndexNow et ne pense pas qu’il offre quelque chose de substantiel.

    Ammon a reconnu l’éléphant qui n’était pas dans la salle IndexNow, qui était Google. Et de déclarer :

    À moins et jusqu’à ce que Google s’inscrive à un protocole dirigé par Bing, ce n’est pas un deal important.

    Mais si Google va de l’avant pour une raison quelconque (plutôt que de créer le leur), nous devrons certainement tous revoir beaucoup de compréhension de la hiérarchisation des crawls.

    Ammon a minimisé tout avantage de moins d’exploration, affirmant qu’ils utiliseraient probablement les ressources libérées pour sortir et explorer des pages Web de priorité inférieure qui ne seraient normalement pas explorées.

    Même si cela devait libérer une partie de la ressource allouée à l’exploration plus que ce qui peut être exploré (l’état du Web actuellement, et en croissance exponentielle), je ne peux pas voir les moteurs de recherche ne pas simplement explorer plus de la priorité inférieure, ou ré-explorer l’absolu le plus élevé avec plus de fréquence.

    … Microsoft ne promet même pas qu’ils le récupèrent immédiatement, seulement qu’il sera indexé « bientôt » ou « rapidement ».

    Il a ensuite souligné que l’adoption du protocole IndexNow éliminera un signal latent de ce que Google ou Bing estiment être les plus importants.

    Ammon a noté :

    L’une des principales raisons pour lesquelles je n’utilise jamais, JAMAIS, d’outils de soumission est que voir quand le contenu est exploré seul est beaucoup trop utile. Il n’y a pas d’autre façon de voir “l’importance”.

    Il y a plusieurs choses qui influencent la fréquence à laquelle une page Web est explorée, les liens étant l’un d’entre eux. La fréquence à laquelle une page ou une section d’un site Web change peut également influencer la fréquence à laquelle une page Web est explorée.

    La question de savoir si l’indexation rapide en vaut la peine pour renoncer à voir quelles pages un moteur de recherche estime être les plus « importantes » est à la charge de l’individu et de ses priorités.

    Ammon pense que cela n’en vaut pas la peine pour lui.

    L’une des fonctionnalités importantes du plugin Yoast SEO est la possibilité de créer automatiquement des sitemaps au format XML, ce que Joost estime suffisant pour la plupart des sites Web.

    Si Google adopte le protocole IndexNow, ce qui semble pour le moment lointain, les sitemaps XML pourraient perdre un peu de leur importance, ce qui pourrait atténuer l’éclat de ce qui est actuellement une fonctionnalité importante du plugin Yoast.

    Si Google adopte IndexNow, cela augmente les chances que WordPress puisse le suivre et l’inclure dans le noyau (core), éliminant ainsi le besoin pour Yoast de le transformer en une fonctionnalité de plugin.

    Il semble donc que pour Yoast, il y ait relativement peu ou pas de valeur d’IndexNow.

    C’est à la communauté de la recherche de décider par elle-même. Il y a une certaine opposition et un certain scepticisme à l’égard d’IndexNow.

    Mais il y a aussi beaucoup de grandes entreprises comme Cloudflare qui ont déclaré qu’elles intègrent IndexNow avec enthousiasme.

     

    Mise à jour #CrawlerHints: Cloudflare prend en charge IndexNow de @Microsoft Bing qui permet aux #sitesWeb d’avertir facilement les moteurs de recherche chaque fois que le contenu change, améliorant ainsi le #SEO et permettant une #WebCrawling plus efficace.

    Source : Searchenginejournal

Auteur : Noel NGUESSAN

Je suis Noel Nguessan, fondateur du site Arobasenet.com qui existe depuis 2007 et a aujourd'hui plus de 6.800 articles. Pour ma part, j'ai intégré le monde de l'internet en 1997 en qualité de créateur de site internet, avant de devenir développeur web et multimédia au début de l'année 2000, avant de basculer naturellement vers le SEO en tant que Consultant.