Étiquette : user-agent

Google demande de ne pas bloquer l\'accès de Googlebot aux fichiers

a commencé à envoyer à de nombreux webmasters des messages d’alerte par email les notifiant de l’impossibilité pour Googlebot, le robot d’indexation de , d’explorer librement certains fichiers. 

Ce qui pourrait impacter le référencement de leurs sites web.

Google envoie des notifications aux sites bloquant l’accès aux fichiers CSS et JavaScript

Ces fichiers généralement mentionnés par Google concernent les CSS et autres JavaScripts qui n’autorisent pas l’accès à leurs données.

Voici un exemple de message reçu par certains webmasters :

Nos systèmes ont récemment détecté un problème avec votre page d\’accueil qui affecte l\’affichage et l\’indexation de votre contenu par nos algorithmes.

Plus particulièrement, Googlebot ne peut accéder à vos fichiers JavaScript ou CSS à cause de restrictions dans votre fichier robots.txt. Ces fichiers nous permettent de comprendre que votre site Web fonctionne correctement. En bloquant l\’accès à ces éléments, il est donc possible que le classement du site ne soit pas optimal.

Le message d’alerte indique également avec insistance que le blocage des fichiers Javascript et/ou CSS “peut entraîner des classements qui ne soient pas optimaux”.

Alors que Google a fait savoir, après un changement de ses consignes aux webmasters, de ne plus jamais bloquer Googlebot lors de ses visites d’exploration et d’indexation. Notamment via le fichier robots.txt.

Voici d’ailleurs ce qu’il dit dans ses consignes :

Pour nous aider à comprendre le contenu de votre site de manière exhaustive, autorisez l\’exploration de tous les éléments de votre site, tels que les fichiers CSS et JavaScript. Notre système d\’indexation affiche des pages Web à l\’aide du code HTML de la page, ainsi que d\’éléments tels que les fichiers images, CSS et JavaScript.

Pour voir les éléments de page qui ne peuvent pas être explorés par Googlebot et pour résoudre les problèmes relatifs aux instructions dans votre fichier robots.txt, utilisez la fonctionnalité Explorer comme Google et l\’outil de test du fichier robots.txt dans les outils pour les webmasters.

Comment découvrir les ressources bloquées par robots.txt

Les ressources bloquées sont aussi mises en évidence dans la section “Index Google” -> “Ressources bloquées” dans votre Console.

Le message d’alerte dans Google Search Console fournit aussi les détails sur la façon de résoudre le problème en proposant toutefois de mettre à jour la règle du fichier robots.txt pour débloquer la ressource.

Il semble que depuis quelques jours, Google a augmenté le nombre de messages qu\’il envoie aux webmasters sur les blocages de GoogleBot.

Et ils sont aussi nombreux, les webmasters qui utilisent , qui ont reçu des avertissements pour avoir utilisé “abusivement” l’instruction “Disallow: /wp-content/plugins” dans leur fichier robots.txt.

Voici les différents types d’instructions qui peuvent générer un message d’alerte dans Google Search Console et par email :

Disallow: /.js$*

Disallow: /.inc$*

Disallow: /.css$*

Disallow: /.php$*

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /cgi-bin/

Disallow: /wp-content/uploads/

Disallow: /wp-includes/css/

Disallow: /wp-includes/js/

Disallow: /wp-includes/images/

Ce que demande donc Google dorénavant, c’est qu’il n’y ait plus dans aucun fichier robots.txt d’instructions du type “Disallow: /nomdufichier” ou “Disallow: /nomdurepertoire/”.

Si vous en avez dans votre fichier robots.txt, supprimez-les immédiatement, remplacez-les par \ »Allow: /\ » et le problème sera résolu. Sinon, votre référencement pourrait en souffrir comme Google le mentionne dans ses notifications.

Car, Google déconseille de restreindre l\’accès à tous les fichiers existant dans votre site afin d\’améliorer leur indexation, notamment pour le mobile, et donc probablement votre classement sur Google.

Testez votre fichier robots.txt

L\’outil de test du fichier robots.txt vous indique si votre fichier robots.txt empêche nos robots d\’explorer des URL spécifiques sur votre site.

  1. Depuis la page d\’accueil de la Search Console, sélectionnez le site dont vous souhaitez tester le fichier robots.txt.
  2. Sous l\’en-tête \ »Exploration\ » du tableau de bord de gauche, sélectionnez l\’Outil de test du fichier robots.txt.
  3. Apportez des modifications à votre fichier robots.txt en ligne dans l\’éditeur de texte.
  4. Faites défiler le code du fichier robots.txt pour localiser les avertissements relatifs à la syntaxe et les erreurs de logique signalés. Le nombre d\’avertissements relatifs à la syntaxe et d\’erreurs de logique s\’affiche immédiatement sous l\’éditeur.
  5. Saisissez une extension de l\’URL ou un chemin d\’accès dans la zone de texte en bas de la page.
  6. Dans la liste déroulante à droite de la zone de texte, sélectionnez le user-agent que vous souhaitez simuler.
  7. Cliquez sur le bouton TEST après avoir choisi le robot pour lancer la simulation.
  8. Vérifiez si le bouton TEST indique Acceptée ou Bloquée pour savoir si nos robots d\’exploration peuvent ou non explorer cette URL.

Google ferme PageSpeed son service d\'optimisation du chargement des pages

Il y a plus de quatre ans, lançait PageSpeed, un outil destiné aux webmasters pour améliorer la vitesse de chargement des pages web sur tous les appareils.

Pour la petite histoire, PageSpeed analyse le contenu d\’une page web avant de générer des suggestions pour accroître sa vitesse d’affichage.

Google ferme PageSpeed

Google ferme PageSpeed

–>

Il mesure donc les performances d\’une page sur les appareils mobiles et les appareils de bureau. Il explore deux fois l\’URL, une fois avec un user-agent mobile et une fois avec un user-agent de bureau.

Le score PageSpeed va de 0 à 100 points. Plus haut est le score, meilleures sont les performances, et un score de 85 ou plus indique que la page s\’exécute bien. Mais, tout ça, ce sera bientôt du passé.

En effet, Google vient d\’annoncer la fermeture définitive de son service PageSpeed à compter du 3 Août 2015.

Les développeurs qui utilisent cet outil devront donc penser à changer les paramètres de leurs DNS avant cette date du 3 Août prochain. Faute de quoi, leurs sites ne seront plus disponibles.

Il existe actuellement de nombreuses alternatives à PageSpeed telles que CloudFlare sans pour autant avoir le même degré de sécurité que l’outil de Google.

Vous pouvez aussi tester le français DareBoost.

Mise à jour du 07/05/2015

Selon John Mueller qui répondait à +Yann Sauvageon , il s\’agit, comme le faisait remarquer à juste titre +Olivier Duffez, uniquement de la fermeture du srevice PageSpeed et non de PageSpeed Insights.

Google : Le responsive design n\'est pas un facteur de classement

Depuis un certain temps, insiste et encourage les webmasters à opter pour le responsive design pour la version mobile de leurs sites web.

SEO Mobile : Le responsive design n\'est pas un facteur de classement sur Google

Il a d\’ailleurs récemment déclaré que le site compatible mobile (mobile-friendly) est désormais un critère de classement.

D\’où la question d\’un webmaster sur un des forums de Google en ces termes :

Pouvez-vous me dire pourquoi avons-nous besoin d\’une version mobile en responsive design au lieu d\’un vrai site uniquement pour les utilisateurs du mobile ? Et pourquoi Google classe-t-il mieux les sites en responsive design ?

C\’est +Zineb Ait Bahajji, Webmaster Trends Analyst chez Google, qui s\’est chargée de répondre en déclarant :

Google ne classe pas mieux les sites mobiles en responsive design par rapport aux autres sites dédiés au mobile. Google ne favorise pas un format particulier d\’URL tant que les pages et tous les actifs des pages sont accessibles à tous les user-agents de Googlebot.

Nous vous recommandons d\’utiliser le responsive design pour des raisons pratiques : il est plus facile à gérer, il correspond plus facilement au mobile-friendly et il vous évite les erreurs de configuration fréquentes telles que les redirections incorrectes ou les mauvaises indications d\’user-agent.

En d\’autres termes, le responsive design recommandé par Google éviterait tout simplement toutes les confusions inimaginables.

Mais, il ne serait pas destiné à vous apporter un meilleur classement sur Google. CQFD.

L\'Outil mobile-friendly de Google est le seul à valider la compatibilité mobile d\'un site

Il y a peu, a annoncé faire du site mobile-friendly un facteur de classement. Sur ce, il a lancé son outil mobile-friendly test afin que chaque webmaster puisse bien vérifier que Google accordera à son site le label \ »site mobile\ ».

Testez la compatibilité mobile de votre site avec le mobile-friendly test de Google

Car, à en croire les explications de John Mueller qui vont suivre ci-dessous, de nombreux webmasters dont les sites s\’affichent correctement sur mobile ne seraient pas pour autant mobile-friendly pour Google.

D\’où l\’intérêt de tester votre site avec l\’outil mobile-friendly de Google pour vous rassurer.

Après le test, vous devez voir s\’afficher \ »Awesome ! This page is mobile-friendly.\ », comme dans l\’image ci-dessous. Dans le cas contraire, lisez les explications de John Mueller, Webmaster Trends Analyst chez Google.

Outil de test mobile-friendly

John Mueller et le label mobile-friendly

John Mueller revient sur certaines questions concernant l\’utilisation de l\’outil mobile-friendly test qui indiquerait que certains sites ne sont pas compatibles avec le mobile alors que son autre outil dénommé PageSpeed Insights afficherait le contraire. Selon, John Mueller, deux raisons à cela :

1. Trop de fichiers bloqués par robots.txt : Googlebot doit être en mesure de reconnaître la compatibilité mobile d\’un site lors de son exploration. Si un fichier JavaScript qui effectue une redirection est bloqué par robots.txt, si un fichier CSS qui est nécessaire à la version mobile d\’une page est bloqué ou si vous utilisez des URL distinctes pour le mobile et que vous les bloquez en même temps, Googlebot ne sera pas en mesure de savoir si votre site est mobile-friendly.

Quant à l\’outil PageSpeed Insights, il n\’utilise pas le fichier robots.txt. Il peut donc paraître normal et vous dire que votre site est compatible avec le mobile. Alors qu\’il n\’en est rien. N\’empêchez donc pas l\’analyse des fichiers CSS ou JS de votre site.

2. Cacher des fichiers à Googlebot : Le cloaking (dissimulation de fichiers) fait depuis toujours partie des consignes aux webmasters de Google. Et il provoque toutes sortes de problèmes.

Certains sites essaient de reconnaître la visite de Googlebot à l\’aide d\’un user-agent afin de livrer une \ »version-Googlebot\ » du contenu exploré (souvent la page desktop) qui est pourtant différente de celle affichée aux utilisateurs sur mobile. Si Googlebot-smartphone explore et voit une page desktop (pour ordinateur), la page ne sera alors pas considérée comme étant mobile-friendly.

L\’outil \ »Explorer comme Google\ » présent dans les Webmaster Tools peut vous aider à découvrir ce problème. Et l\’outil PageSpeed Insights n\’utilise pas Googlebot user-agent.

En conclusion, sachez que seul l\’outil mobile-friendly test de Google peut vous indiquer si Google accordera ou pas le label \ »site mobile\ » à votre site web.

Google préconise la redirection 302 lorsqu\'il s\'agit du mobile

Et l\’une des migrations mentionnées dans cette documentation concerne le responsive design et les sites dynamiques pour chacun des scénarios suivants :

  • Passer des URLs distinctes vers les mêmes URL
  • Passer des mêmes URL vers des URL distinctes
  • Passer du responsive design à un serveur dynamique (User-Agent) ou vice-versa.

Mais, cette documentation pourrait prêter à confusion lorsque que Google préconise d\’utiliser la redirection temporaire 302 au lieu de la redirection permanente 301.

Image via Google.com

Ainsi, par exemple, si vous passez des URL distinctes dédiées exclusivement au mobile vers une seule et même URL pour le mobile, la tablette et l\’ordinateur et que vous utilisez déjà le responsive design ou du contenu dynamique avec User-Agent, même si le choix peut être définitif, Google vous recommande d\’utiliser la redirection temporaire 302 et non la redirection permanente 301.

Alors pourquoi cette recommandation de redirection 302 ? Est-ce une façon pour Google de dire que cette redirection ne peut pas demeurer définitive puisqu\’il espère que le webmaster reviendra au responsive design qu\’il conseille à tous d\’utiliser ?

Surtout quand on sait que Google a déjà dit par le passé que si vous utilisez une redirection temporaire 302 pendant un long moment, il finira par la considérer et la traiter comme étant une redirection permanente 301.

Sans oublier qu\’avec une redirection 301, la quasi-totalité du PageRank de la page redirigée est transférée vers la nouvelle page et est donc bénéfique pour ladite nouvelle page.