Vous avez des pages Web de faibles qualités ou inutiles qui impactent votre budget crawl et nuisent à votre référencement naturel ? Vous cherchez une méthode propre et efficace pour désindexer une page Web ? Voici plusieurs astuces pour supprimer vos pages Web des index des moteurs de recherche !

Pourquoi désindexer une page Web ?

Si des pages Internet de faibles qualités nuisent à l’expérience utilisateur, elles envoient aussi un message négatif aux algorithmes des moteurs de recherche. Pour pallier cela, certaines pages de votre site Web doivent donc ne plus être référencées. Le problème sur Internet, c’est que vous ne pouvez pas supprimer une URL de page d’un claquement de doigts. Vous devez respecter un processus bien précis, à commencer par la désindexation de votre page sur les moteurs de recherche.

Il existe plusieurs cas de figure qui peuvent vous amener à devoir désindexer une page Web :

Qu’est-ce qu’une page indexée ?

Pour qu’une page Web apparaisse dans les résultats des moteurs de recherche, il faut que les robots d’exploration qui visitent et analysent les sites Internet ajoutent la page du site à leur index.

L’indexation d’une page par les robots d’exploration n’est possible que si :

Mais, attention une page indexable, n’est pas obligatoirement indexée par Google, le moteur de recherche peut parfaitement décider de ne pas l’ajouter à son index pour X raisons (qualité de la page à revoir, qualité du site dans sa globalité…).

De plus, Google attribue un budget de crawl à chaque site. Ce budget correspond au nombre de pages que le robot d’indexation (Googlebot pour Google) va explorer. Il est défini en fonction de plusieurs critères d’exploration tels que la vitesse de chargement de la page, la profondeur de la page, la qualité du contenu…

Ainsi, pour augmenter votre budget crawl et/ou déréférencer des pages indésirables, une désindexation est parfois nécessaire…

Robots.txt : pour empêcher l’indexation

Le fichier robots.txt comme son nom l’indique est uniquement destiné à donner des informations sur votre site aux robots d’exploration. C’est lui qui va leur indiquer quelle page Web crawler ou non. Ainsi, le fichier robots.txt ne va pas vous aider à désindexer une page Web, mais uniquement à faire en sorte qu’elle ne soit pas indexée.

Si vous souhaitez empêcher l’indexation de nouvelles pages Web ou d’un nouveau site, voici la marche à suivre :

Ensuite, trois commandes sont disponibles :

Une fois votre fichier terminé, importez-le sur votre site Internet. L’importation de votre fichier va dépendre de votre serveur et de l’architecture de votre site Web. Si vous rencontrez la moindre difficulté, consultez la documentation de votre hébergeur ou contactez-les.

Lorsque votre fichier est importé, testez-le pour vérifier qu’il soit accessible au public et qu’il soit correctement balisé grâce à l’outil de test de la Search Console.

La balise « noindex » : la méthode préférée de Google

La balise meta « noindex » est le meilleur moyen d’empêcher une page Web de s’afficher dans les résultats de recherche de Google. Lorsque Googlebot reviendra explorer votre site, la balise « noindex » va lui signifier de ne pas indexer ou de désindexer une page Web.

Non seulement c’est la méthode préférée de Google, des webmasters et des développeurs, mais c’est aussi la plus facile à mettre en place, car elle ne requiert pas de connaissances techniques particulières.

Vérifiez bien que votre fichier robots.txt ne bloque pas l’accès aux pages concernées !

Pour que votre demande de désindexation soit effective, vous devez attendre le passage des robots. Toutefois, vous pouvez accélérer le processus depuis la Search Console en envoyant une demande de crawl à Google.

L’entête HTTP X-Robots-Tag noindex pour désindexer des fichiers sans code source

Certains fichiers (PDF, images, documents Word…) et pages Web et fichiers ne contiennent pas de code source. Seule la mise en place de l’entête HTTP X-Robots-Tag noindex peut donner les consignes de désindexation aux robots.

Attention, cette technique demande une certaine expertise et si vous ne possédez pas les connaissances nécessaires, il est préférable de faire appel à un développeur. Une mauvaise manipulation peut causer de graves dysfonctionnements sur votre site !

Commencez par modifier votre fichier .htaccess en intégrant les codes suivants :

Pour désindexer tous vos PDF :

<Files ~ « .pdf$ »>
Header set X-Robots-Tag « noindex »
</Files>

Pour désindexer tous vos fichiers images :

<Files ~ « .(png|jpe ?g|gif)$ »>
Header set X-Robots-Tag « noindex »
</Files>

Les codes HTTP 404 et HTTP 410 pour désindexer les pages supprimées

Lorsque vous supprimez des pages web, leur désindexation n’est pas immédiate. Si aucun élément ne vient remplacer vos pages, ajoutez l’un des deux codes pour confirmer à Google leur désindexation :

• Code 404 (not found) : la ressource n’existe pas.
• Code 410 (gone) : la ressource n’existe pas et ne sera pas remplacée.

La balise canonical pour désindexer des contenus similaires

Si vous des contenus identiques ou similaires, vous risquez d’être pénalisé pour duplicate content.

En ajoutant une balise canonical, vous indiquez à Google que seule la page concernée est à prendre en compte.

Ajoutez ce code dans la partie <head> de toutes les pages de contenu dupliqué de votre site Internet en intégrant l’URL de votre page principale : < link rel=«canonical» href=« https ://votresite.com/page-exemple/» / >.

Désindexer une page sans perdre ses backlinks

Les backlinks sont indispensables pour votre optimisation SEO et il serait dommage des liens entrants de qualité !

Pour ne pas perdre vos backlinks, mettez en place une redirection 301 de l’ancienne page vers la nouvelle. Attention, la redirection permanente s’effectue dans le fichier .htaccess de votre serveur !

Pour une page :
RedirectPermanent /repertoire/page-a-rediriger.html http ://www.exemple.net/repertoire/page-de-destination.html

Pour un répertoire :
RedirectPermanent /repertoire http ://www.nom-de-domaine.com/repertoire-de-destination

Pour un domaine :
RedirectPermanent / http ://www.nom-de-domaine.com/

Désindexer une page Web avec WordPress

Les utilisateurs de WordPress n’ayant pas accès à la partie <head> de leurs pages, la solution la plus simple est d’installer le plugin Yoast.

Une fois l’installation terminée, allez sur la page à désindexer, puis dans l’onglet Yoast, cliquez sur « Avancé ». Sélectionnez « Non » à la question « Autoriser les moteurs de recherche à afficher le contenu Article dans les résultats de recherche ? ». Enregistrez, et c’est tout !

Notre astuce pour désindexer une page

Vous connaissez désormais les techniques pour désindexer une page Web. Si vous avez de nombreuses pages à désindexer et que vous voulez accélérer leur désindexation, créez un fichier sitemap dans lequel vous listerez toutes les URL à désindexer et déclarez le fichier dans la Search Console.

Notre astuce pour ne pas avoir à désindexer vos pages

Pour éviter d’avoir à désindexer des pages Web parce que vos contenus sont pauvres, optimisez vos textes en SEO et en qualité en faisant appel à nos rédacteurs web professionnels.