Les bots sont responsables d’environ 50 % du trafic internet mondial. Il y a les bons et les gentils robots, malheureusement la plupart de ce trafic provient de mauvais bots. Détecter les bots, les identifier comme tels (et non comme utilisateurs humains) et savoir différencier les bons des mauvais est donc important.

Les gentils bots comme ceux de Google et Bing, sont essentiels au bon développement de votre site web. Les – trop nombreux – bots malveillants, en revanche, tirent votre site internet vers le bas, en empêchant sont bon fonctionnement. Ils peuvent être utilisés à des fins diverses, comme le lancement d’attaques DDoS, le scrapping de contenu/données, le spam vos formulaires de contact… Une plaie qu’il vous faut donc éradiquer.

Les défis à relever pour détecter le trafic de robots malveillants se situent donc sur deux niveaux :

S’il était jadis facile de détecter les robots, ces derniers se sont grandement améliorés et passent désormais très souvent sous les radars.

Différencier les Bots des visiteurs humains

Nous allons nous tourner vers les outils qui permettent d’analyser le trafic de votre site web, comme Google Analytics. Vous allez devoir analyser  :

Les pics de trafic

Je vous souhaite de voir votre trafic augmenter régulièrement au fil du temps grâce à vos performances marketing. Si vous constatez une amélioration de votre classement dans les résultats de recherche, vous pouvez vous attendre à une augmentation naturelle du trafic. De la même manière, le lancement d’un nouveau produit devrait engendrer un pic de trafic qu’on qualifiera de « normal », il est donc important de vérifier chaque pic et d’en trouver la raison.

Si vous constatez des hausses soudaines de trafic sans pouvoir en déterminer la raison, vous pouvez en déduire qu’un déferlement de bots a eu lieu ce jour-là.

Les sources de trafic

Le trafic « sain » provient souvent de vos propres canaux de diffusion en fonction de vos activités de marketing, de promotion et de référencement (trafic de recherche, de réseaux sociaux, campagnes payantes, backlinks…). Le trafic des robots lui, provient généralement du trafic direct et est constitué de nouveaux utilisateurs uniques et de sessions.

Les résultats suspects provenant d’adresses IP uniques constituent la forme la plus élémentaire d’activité des robots et devraient être les plus faciles à détecter. Vous devez également vous alarmer lorsque l’activité sur votre site augmente à partir d’endroits géographiquement éloignés de votre zone de chalandise classique.

Taux de rebond

Votre taux de rebond joue aux montagnes russes  ? Une trop grande variation à la hausse ou à la baisse est le signe de la présence de bots. Un taux de rebond anormalement élevé sur une période donnée annoncera la présence de bots. Une chute soudaine sera également le signe d’une activité malveillante de bots.

Bien sûr, surveiller ces métriques s’avère chronophage, en plus de ne pas être suffisant : ici vous ne faites que différencier le trafic « humain » du trafic non-humain.

Distinguer les bons des méchants

Voyons maintenant comment distinguer les bons robots qui sont utiles à votre site web, et les mauvais, qui sont nuisibles au bon fonctionnement de votre site web.

On peut distinguer deux techniques de détection :

La détection comportementale

Bien que cette approche soit utilisée pour différencier le trafic de robots du trafic humain, elle est également efficace pour reconnaître les mauvais robots, car les robots malveillants ont tendance à exécuter certains comportements (par exemple, lorsqu’ils soumettent un formulaire, nous pouvons être sûrs qu’il s’agit d’un mauvais robot).

Voici quelques activités courantes suivies dans l’approche de détection comportementale :

La détection basée sur la signature

Cette deuxième approche exploite les informations relatives à l’appareil et au navigateur, comme la version du navigateur, le système d’exploitation (OS) ou le nombre de cœurs de processeur.

Voici des indicateurs à tester afin de repérer les bons ou les mauvais robots :

Conclusion

Il devient de plus en plus difficile de détecter et d’écarter certains robots. Les robots les plus sophistiqués sont désormais presque impossible à détecter car ils imitent de mieux en mieux un comportement humain et possèdent de nombreuses IP.

Il existe des solutions logicielles de détection et protection de bots. Installer un bon CAPTCHA reste de mise  !

Vous pouvez également faire appel à un développeur freelance pour installer des protections contre les bots. Pour cela, déposez gratuitement votre projet sur Codeur.com et recevez de nombreux devis, rapidement.