Pierre Casaburi
Dans cet article, nous allons voir ensemble en quoi consiste cette notion et pourquoi est-il si important. En bonus, nous vous donnerons quelques conseils pour bien indexer son site sur Google. C’est parti !
Qu’est-ce que le budget de crawl ?
Un « Crawl » en SEO signifie une exploration d’un site par les moteurs de recherche. Quand Google souhaite indexer un domaine, il parcourt ses pages à l’aide d’un robot, appelé crawler, en partant de la page d’accueil. Ensuite, il détermine la position de chacune d’entre elles dans les résultats de recherche, en fonction de nombreux critères de classement SEO.
Ainsi, le budget de crawl correspond au degré d’importance que portent les moteurs de recherche à un site. Google va donc déterminer, au moment de l’exploration de votre site, le nombre de ressources à allouer pour le parcourir entièrement. Il en va de même pour la fréquence de passage des Googlebots sur votre site.
Comment le budget de crawl est-il attribué ?
Le taux limite de crawl
En analysant votre site, Google va se fixer une limite de pages à explorer simultanément afin d’éviter de surcharger vos serveurs. C’est ce que l’on appelle le taux limite de crawl (ou crawl limit). Sans cette restriction, votre site serait inutilisable car alourdi par les visites des crawlers.
Cette limite est déterminée par le temps de chargement de votre site, le nombre de pages en erreur ainsi que votre hébergeur. Ainsi, un site ayant un temps de chargement long et de nombreuses pages en erreur verra son budget de crawl réduit.
La demande de crawl
La demande de crawl (ou demande d’exploration) permet de déterminer si une URL vaut la peine d’être explorée régulièrement par les robots d’indexation. Google se base donc sur plusieurs critères :
- La fréquence de mise à jour du contenu
- Le type de page et son évolutivité
- La popularité, via les liens internes et les backlinks
Ainsi, une page n’étant pas fréquemment mise à jour et ne comportant pas de backlinks ne sera pas jugée pertinente, et donc ne sera pas souvent explorée.
Pourquoi le budget de crawl est important pour votre site ?
Votre objectif est d’être vu par les internautes le plus rapidement possible. Vous devez donc rendre vos pages disponibles à l’indexation Google pour apparaître dans les résultats de recherche. Malheureusement, les moteurs de recherche ne disposent pas de moyens illimités pour parcourir tout le web et vont donc prioriser les pages les plus rapides et pertinentes.
Ainsi, si vos pages ne sont pas accessibles facilement ou ne présentent pas d’intérêt pour les internautes, une grande partie de votre site ne sera pas explorée par Google, et donc non indexée. Cela posera problème si cette partie du site regroupe des pages clés. Il est donc primordial de ne pas gaspiller son budget d’exploration.
Quelques conseils pour permettre l’exploration de votre site
Soignez votre architecture et votre maillage interne
Vos pages doivent être facilement accessibles par le Googlebot et l’internaute, de la page d’accueil jusqu’aux pages de contenu. Adoptez une architecture de site simple, sous la forme :
- Niveau 1 : page d’accueil
- Niveau 2 : catégories
- Niveau 3 : pages produits/contenu
Une fois que votre structure est bien organisée et que vos pages sont idéalement situées à 3 clics maximum de votre page d’accueil, connectez vos pages entre elles grâce au maillage interne, et en respectant la règle du silo (cf. illustration ci-dessous).
Exemple d’une bonne structuration de site. Source : Louis Maitreau
Eradiquez le contenu dupliqué
Le terme « contenu dupliqué » désigne l’ensemble des pages similaires ou identiques en termes de contenu. On retrouve par exemple :
- Des pages ayant subi un copier/coller de texte
- Des pages associées à différentes catégories
- Des pages ayant des déclinaisons de nom de domaine (http, https, sans www, avec www)
- Des pages avec une URL différente à cause de la version mobile
Pour ne plus voir son budget de crawl pénalisé, ajoutez des balises « noindex » sur les pages que vous ne voulez pas voir indexées et utilisez les canoniques pour des pages aux URL différentes mais au contenu identique. Si vous disposez de plusieurs variantes de votre nom de domaine, définissez des redirections 301 vers votre domaine principal.
Evitez les contenus de mauvaise qualité
Voici plusieurs exemples de contenus de mauvaise qualité pouvant impacter le budget d’exploration de votre site web :
- Articles de moins de 300 mots
- Pages au contenu dupliqué
- Pages au contenu obsolète ou inaccessible
- Pages ayant recours à des pratiques SEO black hat
Réfléchissez à une stratégie de mots clés efficace avant de produire un contenu long (idéalement 800 mots), pour mieux cerner les besoins de vos internautes. Partez aussi à la chasse aux pages zombies, ces URL anciennes sans trafic et traitant de sujets similaires à d’autres pages plus performantes.
Corriger les 404 et les boucles de redirections
Des pages non accessibles ou redirigées de nombreuses fois sont un frein pour votre budget de crawl car elles renvoient une mauvaise image de votre site à Google. Pour identifier les pages en 404, direction la Google Search Console. Il est possible d’utiliser un crawler comme Screaming Frog ou OnCrawl pour détecter les boucles de redirection.
Ces boucles peuvent être cassées en revoyant l’ensemble des redirections pour chaque page du site. Pour les erreurs d’explorations, redirigez chaque page en 404 vers une page au contenu similaire. Enfin, jetez un œil au fichier sitemap.xml pour vérifier si toutes vos pages sont toutes accessibles.
Eradiquez les pages lentes
Une étude a révélé en 2017 que 53% des internautes quittaient une page si son temps de chargement sur mobile était supérieur à 3 secondes ! Avec les nouvelles mises à jour des algorithmes Google, vous ne devez plus négliger ce critère.
Pour réduire le temps de chargement d’une page ou d’un site, voici quelques conseils :
- Réduisez la taille et le poids des images, et convertissez-les au format webp.
- Empêchez le rafraichissement trop fréquent du cache de la page
- Utilisez un CDN pour vos images
- Réduisez les codes HTML, CSS et JavaScript
- Priorisez le chargement des ressources les plus importantes
Pour finir
Souvenez-vous de cet adage : « ce n’est pas Google qui vient à vous, c’est vous que venez à Google ». Il ne suffit pas d’attendre que les moteurs de recherche vous découvrent pour que le référencement naturel de votre site se fasse. Montrez à Google montrer que vous êtes présents et faites-en sorte de bien l’accueillir quand il viendra explorer votre site. Votre référencement local vous en remerciera !
Si vous souhaitez obtenir davantage de conseils pour optimiser le budget d’exploration de votre site, n’hésitez pas à contacter aux équipes SEO d’ESV Digital !