Le SEO « technique » est la clé de voute qui permet aux moteurs de recherche d’explorer, analyser et indexer les pages de votre site. Cela aide à classer vos pages dans les SERPS, avant même que vous n’ayez commencé le travail de référencement. En d’autres termes, il ne sert à rien de faire du SEO « on-page » si votre SEO technique est médiocre.

La console de recherche, les crawlers tiers et les outils de statistiques ne donnent pas une image complète de la manière dont Googlebot et les autres moteurs de recherche interagissent avec un site web. Il n’existe qu’un seul moyen d’examiner la manière exacte dont les moteurs de recherche traitent votre site web. Et c’est en regardant les fichiers logs de votre serveur.

En aidant Google à faire son travail, vous préparez le terrain pour votre futur travail de référencement. L’analyse des logs est une facette importante du référencement technique, et la correction des problèmes trouvés dans vos logs aidera à obtenir un meilleur classement, plus de trafic, et plus de conversions…

Exemple d’entrée dans un fichier log

Chaque serveur est différent dans l’enregistrement des entrées, mais ils donnent généralement des informations similaires, organisées en champs.

Voici un exemple d’accès à un serveur web Apache (simplifié, certains champs ont été supprimés) :

50.56.92.47 - - [01/January/2020:12:21:17 +0100] "GET" - "/wp-content/themes/Codeur/help.php" - "404" "-" "Mozilla/5.0 (compatible ; Googlebot/2.1 ; +http ://www.google.com/bot.html)" - www.example.com -

Comme vous pouvez le voir, pour chaque requête, le fichier log stocke des informations clés telles que  :

Comme vous pouvez l’imaginer, les fichiers logs représentent des milliers de lignes par jour, car chaque fois qu’un utilisateur ou un robot arrive sur votre site, de nombreuses entrées sont enregistrées pour chaque page demandée (y compris les images, les CSS et tout autre fichier nécessaire au rendu de la page.)

Que chercher dans les logs  ?

L’analyse des fichiers logs révèle un grand nombre de renseignements utiles, et permettent par exemple de  :

Trouver où le crawl budget est gaspillé

Vous ne savez pas ce qu’est le crawl budget  ? J’en ai parlé dans cet article.

L’analyse des fichiers logs peut révéler que le budget d’exploration de votre site est gaspillé pour des pages non pertinentes. Si vous avez un nouveau contenu que vous souhaitez indexer mais qu’il ne vous reste plus de budget, Google n’indexera pas ce nouveau contenu. L’optimisation de votre budget d’exploration aidera les moteurs de recherche à explorer et à indexer les pages les plus importantes de votre site web.

Le fait d’avoir de nombreuses pages à faible valeur ajoutée peut avoir un effet négatif sur l’exploration et l’indexation d’un site. Les URL à faible valeur ajoutée peuvent entrer dans ces catégories  :

Ne gaspillez pas votre crawl budget sur des pages comme ça. L’exploration des pages qui ont réellement de la valeur, seront crawlées plus rapidement et plus souvent.

Répondre aux questions techniques sur le référencement

En analysant les fichiers logs, nous pouvons répondre aux questions suivantes avec beaucoup plus de certitude que si nous essayions d’utiliser d’autres outils :

Découvrez si votre site est passé à l’index Google Mobile-First

Vous pouvez également utiliser les journaux du serveur d’un site pour savoir si votre site web est en train de recevoir le crawling par Smartphone Googlebot indiquant qu’il est passé à l’index mobile-first.

Vous pouvez trouver cette information en consultant quel User Agent vous visite le plus souvent  :

Vous devriez voir la plupart des entrées provenant de

Mozilla/5.0 (Linux ; Android 6.0.1 ; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, comme Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible ; Googlebot/2.1 ; +http ://www.google.com/bot.html)

Dernier crawl

Vous avez récemment publié quelque chose et aimeriez savoir si Google est venu indexer cette page  ? La réponse se trouve également dans vos logs. D’ailleurs, la fréquence à laquelle Google visite votre site est un bon indicateur  : il n’aime pas passer son temps sur de mauvais sites.

J’espère que vous comprenez à quel point l’analyse des logs est importante pour votre référencement. Vous pouvez faire appel à un freelance de Codeur.com pour qu’il s’occupe d’analyser vos fichiers logs  !