Comment fonctionne le goudronnage - Botdefender

Comment fonctionne le goudronnage ?


Accueil » BotDefender » Ici

Le goudronnage (de l'anglais "tarpitting") est l'une des deux méthodes de protection offerte par BotDefender. En résumé, le goudronnage consiste à forcer tous les visiteurs (qu'ils soient humains ou robots) à télécharger un fichier supplémentaire de taille minime, depuis les serveurs de BotDefender, pour pouvoir afficher les prix de la page d'origine qui est train d'être consultée. Nous expliquons ci-dessous avec plus de détails comment fonctionne cette méthode.

Flot des requêtes web

Image

Lorsqu'un client visite une page web, son navigateur (browser) envoie une requête (web) à la boutique en ligne (online store) qu'il souhaite visiter (1), et on lui retourne le HTML (3) qui doit être rendu (c'est-à-dire affiché) côté client.

Dans l'approche classique non protégée, le HTML retourné au client contient tous les prix. Cependant, si le client n'est pas un humain mais un robot, ces prix sont alors entièrement disponibles et prêts à être extraits du HTML - c'est le processus connu sous le nom d'aspiration des prix ou encore scraping.

Lorsque BotDefender est en place, la boutique en ligne ne retourne pas directement les prix. Au lieu de cela, les prix sont tout d'abord remplacés par des stubs, c'est-à-dire des snippets HTML autonomes. La boutique en ligne envoie elle-même une requête pour obtenir ces stubs (2) en appelant l'API de BotDefender, qui lui retourne ces stubs.

Pour finir, lorsque le client fait un rendu du HTML protégé, le stub déclenche une minuscule requête web vers les serveurs de BotDefender (4) afin de pouvoir obtenir un élément d'information supplémentaire, requis pour afficher correctement les prix.

Identification des robots

En se basant sur cette configuration, pour pouvoir avoir accès aux prix, chaque visiteur, que ce soit un humain ou un robot, lance une requête pour obtenir un certain contenu de la part de BotDefender. Cela donne la possibilité à BotDefender de refuser cette information aux visiteurs abusifs.

Nous ne révélerons pas ici la nature exacte de la technologie utilisée par Lokad pour différencier les humains des robots, dans la mesure où cela ne pourrait qu'aider ceux qui orchestrent les attaques (c'est-à-dire les personnes développant les scrapers) à élaborer des robots plus efficaces et capables de mieux déjouer les mesures de détection de notre technologie.

FAQ technique

Est-ce que cela va avoir un impact sur mon classement Google ? Aucun. Google continue à indexer vos pages - moins les prix, qui ne sont plus visibles pour le crawler - mais cet aspecr n'a pas d'importance en termes de SEO (Search Engine Optimization). Techniquement, l'une de nos premières étapes pour protéger vos prix consiste à marquer le sous-domaine BotDefender bdapi.lokad.com avec Robots.txt, ce qui exclut ainsi les crawlers, Google inclus. Mais cela n'affecte qu'un segment très spécifique de votre site web, à savoir les prix eux-mêmes, et non pas le reste de vos pages.

Est-ce que cela va ralentir les performances de mon site de boutique en ligne ? Non. Bien nous ayons souligné dans le schéma ci-dessus l'existence d'un appel (No2) depuis les boutiques en ligne vers BotDefender, en pratique, le stub retourné par BotDefender est mis en cache, c'est-à-dire qu'il est localement gardé dans la mémoire de votre serveur sur une période relativement longue - nous vous suggérons en l'occurrence de la fixer à 24h. Par conséquent, dans la pratique, pour la très grande majorité des pages servies par votre site, aucune requête n'est émise vers BotDefender.

Est-ce que cela va ralentir la navigation de mon site côté utilisateur ? Seulement de façon très marginale et pas plus que lorsque vous ajoutez un traqueur web (comme Google Analytics). Le stub lui-même ajouté à sa contrepartie du côté du serveur BotDefender pèse moins d'1kB, c'est-à-dire moins qu'une très petite image.

Un utilisateur humain peut-il se retrouver pris dans ce goudronnage ? Techniquement oui, MAIS, cela est également vrai pour des outils comme Google Search. Essayez de lancer manuellement des milliers de recherches web sur Google.com en l'espace de quelques heures (ce qui constitue un exercice assez fatigant), et vous vous retrouverez temporairement bloqué par Google. En résumé, si un visiteur commence à se comporter comme un robot, il se retrouvera étiqueté comme robot. Cependant, à l'exception de quelques rares visiteurs au comportement excentrique, de telles limitations ne sont jamais atteintes et restent invisibles.