Pour que votre site Internet et vos pages Web apparaissent dans les résultats de recherche de Google et consort, il faut que les robots d’exploration viennent...
Les attaques DDoS augmentent de 31 % d’année en année. En France, 8 entreprises sur 10 sont touchées. Contrairement à d’autres types de...
Le temps des tristes QR code en noir et blanc est aujourd’hui révolu. Désormais, le code QR se doit d’être personnalisé aux couleurs de votre marque. Un petit...
Représentant de l’équipe Core du CMS, Jean-Baptiste Audras nous présente les contours de la prochaine version majeure, qui va améliorer l’expérience...
Le portage salarial présente de nombreux avantages pour les professionnels qui souhaitent développer leur activité tout en s’éloignant de certaines...
Découvrez des jeux pour apprendre le code de façon ludique.
Mark Zuckerberg a lui-même annoncé le déploiement des réactions emojis pour répondre aux messages envoyés sur WhatsApp.
L’agence WAM, spécialiste de la visibilité en ligne et notamment du SEO et de la data, organise une série de conférences dédiées à la visibilité naturelle, le...
LinkedIn veut améliorer le fil d’actualité de ses utilisateurs.
Le marché du mobile a beaucoup évolué ces 30 dernières années : chute de Motorola, arrivée de l’iPhone et des concurrents asiatiques… Retour...
Pour que votre site Internet et vos pages Web apparaissent dans les résultats de recherche de Google et consort, il faut que les robots d’exploration viennent visiter votre site....
Pour que votre site Internet et vos pages Web apparaissent dans les résultats de recherche de Google et consort, il faut que les robots d’exploration viennent visiter votre site. Si les URLs crawlées répondent aux critères SEO, elles seront alors indexées dans les moteurs de recherche.
Quelle est la fréquence de passage des robots Google ? Comment fonctionne Googlebot ? Comment demander le passage des robots d’indexation ?
Voici la marche à suivre pour accélérer le crawl de votre site Web !
Chaque moteur de recherche possède son propre robot d’exploration : Google : Googlebot, Bing : Bingbot, Qwant : Qwantify…
Googlebot est le nom générique d’un logiciel de crawl. On parle aussi d’User-Agent, de web crawler ou encore de web spider. Son fonctionnement est le même que tous les autres robots, y compris les robots malveillants, les spambots.
Le robot Google explore un site de page en page, de lien en lien comme le ferait un internaute. Le crawler collecte ressources du site (page Web, documents PDF, Word, etc., images, vidéos, code source HTML…) en fonction de votre budget crawl et analyse ensuite la pertinence des données.
Si celles-ci sont pertinentes, il ajoute alors les URLs à l’index de Google. Vos pages Web font alors partie de l’immense répertoire Google qui contient des centaines de milliards de pages Web.
Lors de l’indexation, les informations sont classées par thématique grâce au champ sémantique de vos contenus. Vous comprenez désormais l’importance de vos choix de mots-clés pour votre référencement naturel !
Pour en revenir à notre robot, vous pouvez aussi l’empêcher de crawler certaines de vos pages, comme des pages produits dont le contenu est proche. Vous économiserez ainsi sur votre budget de crawl. Si vous souhaitez bloquer l’accès d’une URL au crawler, utilisez un fichier robots.txt à la racine de votre serveur.
Indiquez le nom du robot à bloquer ou un astérisque si vous souhaitez bloquer tous les robots d’exploration (sauf le robot AdsBot qui, lui, doit être spécifié explicitement), suivi de l’entrée disallow :
Crawler un site entier peut prendre du temps et en fonction du nombre de vos URLs et de votre budget crawl, cela peut varier de quelques heures à quelques jours.
De plus, pour éviter de ralentir le serveur et provoquer une surcharge, le crawler ne va pas visiter toutes les pages du site en une seule fois, ce qui allonge encore le délai d’indexation…
Vous l’aurez compris, le référencement des pages de votre site dépend avant tout de Googlebot. Malheureusement, la fréquence de ses passages est très aléatoire. Alors, si vous venez de créer de nouvelles pages Web et que vous souhaitez qu’elles soient rapidement indexées dans le moteur de recherche, voici quelques conseils pour augmenter la fréquence de passage des robots Google !
Le robot crawler va visiter plus fréquemment les sites régulièrement mis à jour et les sites proposant des contenus SEO de qualité. Donc, le meilleur moyen pour que vos pages soient référencées rapidement est de publier du contenu de qualité le plus souvent possible.
Attention aussi au contenu dupliqué présent sur votre site. Si vous ne voulez pas bloquer l’accès de vos pages de contenu similaire au robot de Google parce qu’elles sont importantes pour votre référencement, réécrivez-les pour les rendre uniques !
Si votre site comporte des milliers d’URL, votre budget de crawl limite le nombre de pages explorées. Les robots vont donc visiter en priorité les pages principales de votre site : votre page d’accueil, vos pages catégories de premier niveau, vos pages piliers… Si vous voulez attirer l’attention du robot, actualisez régulièrement ces pages qui font autorité.
La dernière astuce pour augmenter la fréquence de passage des robots Google consiste à obtenir un maximum de liens externes. Googlebot explore les sites de lien en lien, y compris les liens sortants. Par conséquent, un site qui contient un lien pointant vers votre site va entraîner la visite de ce dernier !
Les recommandations suivantes ne vont pas augmenter la fréquence des passages de Googlebot. Par contre elles vont faciliter son travail d’exploration et par conséquent, accélérer l’indexation du site et donc sa présence dans la recherche Google.
Pour faciliter la navigation du robot entre vos pages, optimisez vos liens internes. Idéalement, vos pages stratégiques doivent être accessibles en un minimum d’étapes avec des ancres de liens pertinentes. Analysez votre site pour vérifier l’absence de pages orphelines, car toutes pages non attachées à la structure ne seront pas crawlées.
Une structure d’URL soignée joue un rôle essentiel dans l’indexation des pages. Plus votre URL est claire et explicite, plus le robot va comprendre dans quelle catégorie classer votre site. Les meilleures URLs sont des URLs simples, courtes et faciles à lire : nom de domaine + mot-clé principal. Supprimez tout le superflu dont les mots de liaison.
Nous l’avons vu, la vitesse de réponse du serveur impact votre budget de crawl et fait parti des critères SEO de Google. Donc en améliorant la vitesse de chargement de vos pages, le robot crawlera plus de pages !
La création d’un fichier sitemap va faciliter le processus de crawl et permettre une meilleure indexation de vos pages. Un sitemap est un fichier qui liste toutes les URLs que vous souhaitez faire crawler et donc indexer. Le crawler voit alors d’un seul coup d’œil la structure de votre site. Une fois votre fichier créé, il ne vous reste plus qu’à le mettre à disposition de Google, soit en l’ajoutant à votre fichier robots.txt, soit en l’envoyant dans la Search Console.
Si vous venez de publier de nouveaux contenus ou si vous avez modifié l’existant, vous pouvez demander à Google de venir indexer ou réindexer vos URLs.
Si vous n’avez pas beaucoup d’URLs à indexer :
Utilisez l’outil d’inspection d’URL de la Search Console (accessible depuis le panneau latéral gauche).
Si vous avez beaucoup d’URLs à indexer en même temps, envoyez un sitemap à Google.
Par contre, ne vous attendez pas à un effet immédiat, vous devrez quand même patienter quelques jours.
Vous souhaitez augmenter la fréquence de passage des robots Google rapidement ? La solution la plus rapide et la plus efficace pour faire indexer chaque page d’un site très vite et vous positionner en première page Google, c’est la création de contenu !
Vous avez besoin de fiches produits, d’articles de blog, de contenus de page Web de qualité ? Alors, commandez très vite vos textes sur Redacteur.com !
Abonnez-vous pour recevoir notre sélection des meilleurs articles directement dans votre boîte mail.
Nous ne partagerons pas votre adresse e-mail.