Wie funktioniert Tarpitting?

Wie funktioniert Tarpitting?


Startseite » BotDefender » Hier

Tarpitting (Tarpit; dt.: Teergrube, Teerfalle) ist eine der beiden von BotDefender angebotenen Schutzmethoden. Kurz gesagt, besteht Tarpitting darin, alle Besucher (Menschen und Bots) dazu zu zwingen eine kleine extra Datei von den BotDefender-Servern herunterzuladen, um die Preise auf der Herkunftsseite sehen zu können. Auf dieser Seite erklären wir Ihnen genau wie Tarpitting funktioniert.

Eingehende Webanfragen

Image

Wenn ein Klient eine Webseite besucht, sendet sein Browser eine (Web-) Anfrage an den Online-Shop (1), der wiederum dem Klienten die gerenderte (bzw. angezeigte) HTML (3) zurücksendet.

Bei der herkömmlichen Verwendung eines nicht-geschützten Ansatzes, enthält die an den Klienten zurückgesendete HTML alle Preise. Ist der Klient allerdings kein Mensch, sondern ein Roboter, können die Preise aus der HTML extrahiert werden. Dieses Verfahren nennt sich Scraping.

Ist BotDefender gegenwärtig, sendet der Online-Shop die Preise nicht direkt zurück. Stattdessen werden die Preise von Stubs ersetzt, sprich eigenständige Snippets der HTML. Diese Stubs werden (2) vom Online-Shop beim API des BotDefenders, der die Stubs zurücksendet, angefragt.

Rendert der Klient anschließend die geschützte HTML, löst der Stub eine winzige Webanfrage an die BotDefender-Server (4) aus, um zusätzliche Informationen, die für das korrekte Anzeigen der Preise erforderlich ist, zu erhalten.

Identifizieren von Robotern

Basierend auf diesem Aufbau muss jeder Besucher, Menschen sowie Roboter, Inhalte beim BotDefender anfragen, um Zugriff auf die Preise zu erhalten. Somit wird es dem BotDefender ermöglicht diese Informationen Besuchern mit missbräuchlichen Absichten zu verweigern.

Die exakte von Lokad verwendete Technologie zur Unterscheidung zwischen Menschen und Robotern wird zum Zweck des Schutzes vor Angriffen (d. h. Personen, die Scraping-Programme einsetzen) nicht offenbart. Des Weiteren könnte eine Offenbarung dieser Technologie dazu genutzt werden, um effektivere Roboter mit umfangreicheren Funktionen zu entwickeln, die in der Lage sind unsere Detektionstechnologie zu umgehen.

Technische FAQ

Hat Tarpitting Auswirkungen auf meine Google Bewertung? Nein. Google wird weiterhin Ihre Seiten indexieren. Allerdings sind die Preise nicht mehr für den Crawler sichtbar – was jedoch für die Suchmaschinenoptimierung (SEO; Search Enginge Optimization) irrelevant ist. Einer unserer ersten Schritte zum Schützen Ihrer Preise ist die Kennzeichnung der BotDefender Sub-Domain bdapi.lokad.com mit Robots.txt. Somit wird allen Crawlern der Zugriff verweigert. einschießlich Google. Dies betrifft jedoch ausschließlich einen speziellen Teil Ihrer Website – die Preise an sich – und nicht den Rest Ihrer Seite.

Hat Tarpitting Auswirkungen auf die Leistung meines Online-Shops? Nein. Obwohl das Diagramm oben eine Anfrage (Nr. 2) vom Online-Shop an den BotDefender sendet, wird das in der Praxis vom BotDefender zurückgesendete Stub zwischengespeichert. D. h. es wird im Speicher des Servers für einen relativ langen Zeitraum gespeichert. Wir empfehlen 24 Stunden. Somit werden für die überwältigende Mehrheit der von Ihrem Online-Shop gedienten Seiten, keinerlei Anfragen an den BotDefender gestellt.

Hat Tarpitting negative Auswirkungen auf das Kundenerlebnis? Nur am Rande und nicht mehr als durch eine Web-Tracker (z. B. Google Analytics). Das Stub an sich, sowie dessen Gegenstück auf dem BotDefender-Server nehmen weniger Platz als 1kB ein, was kleiner als ein sehr winziges Bild ist.

Kann Tarpitting auch für Personen verwendet werden? Ja, ABER das trifft auch für Google Suche zu. Versuchen Sie doch mal manuell Tausende von Websuchen innerhalb weniger Stunden auf Google.de durchzuführen. (Ja wir wissen, wie langwierig dies ist.) Sie werden feststellen, dass Sie temporär von Google geblockt werden. Kurz gesagt bedeutet das, dass wenn sich ein Besucher wie ein Roboter verhält, dieser letztendlich als Roboter gekennzeichnet wird. Diese Einschränkungen bleiben jedoch, mit Ausnahmen von sehr exzentrischen Nutzern, verborgen.