Übernehmen Sie die Kontrolle zurück: Lassen Sie KI-Bots nach Ihren Regeln spielen.

Haftungsausschluss: Dieser Post wurde von Menschen für Menschen geschrieben.

Fastly Bot Management ist jetzt noch besser geworden. Sind Sie es leid, dass KI-Bots Ihre Daten scrapen? Möchten Sie Ihre IP vor zufälligen KI-Crawlern schützen? Was ist die TL; DR? Sie sind in Kontrolle.

Fastly AI Bot Management kann Ihnen helfen:

• Verstehen Sie, welche KI-Bots Ihre Inhalte durchsuchen.

• Kontrolle, welche KI-Bots Ihre Inhalte crawlen oder scrapen dürfen.

• Blockieren Sie alle Bots, die Dinge ohne Ihre Zustimmung nehmen

• Verhindern Sie, dass KI-Bots Ihnen Kosten verursachen.

Das offene Web ist unter Angriff. Online und ohne Barrieren zu schaffen, fühlt sich in vielerlei Hinsicht wie eine aussterbende Kunst an – und ist doch wertvoller denn je. Jeden Tag schlagen unsere Kunden Alarm wegen KI-Bots, die ihr geistiges Eigentum auslesen, konsumieren und daraus lernen, um ihre eigenen proprietären Produkte weiterzuentwickeln, indem sie ihre Wissensdatenbanken aufbauen oder abgeleitete Inhalte erstellen. Diese Crawler tun dies ohne die Zustimmung des Urhebers und ohne die ursprüngliche Quelle anzugeben. Es besteht kein Zweifel, dass Inhaltsersteller leiden. Von Bloggern und Journalisten bis hin zu globalen freien und Open-Source-Projekten mit Millionen von Nutzern stehen die Schöpfer vor einem kritischen Wendepunkt. Das Ehrensystem des offenen Publizierens wird ausgehöhlt, und im Gegenzug wird der Vorteil für das Gemeinwohl zugunsten kurzfristiger Gewinne geschmälert.

Unerlaubtes Scraping ermöglicht es KI-Unternehmen, die wertvollen Inhalte zu instrumentalisieren, die ihre Bots crawlen, von denen sie lernen und die sie in ihre Modelle übernehmen, ohne die Möglichkeit, die Zustimmung des Inhaltseigentümers einzuholen. Es ist auch kein bloßes kleines Ärgernis. Dies bedroht direkt die Geschäftsmodelle von Organisationen, die auf den Wert ihrer Originalinhalte angewiesen sind, um Umsatz zu generieren – und den Lebensunterhalt der Kreativen, die diese Arbeit leisten. KI-Bots überfordern auch große kostenlose und Open-Source-Projekte und gefährden die Arbeit an offenem Code und Inhalten , auf die 70 % der Welt angewiesen sind. Mit der zunehmenden Verbreitung von KI-Tools wächst der Einfluss auf Inhaltsersteller und Hosting-Plattformen exponentiell. Ohne wirksame Gegenmaßnahmen riskieren wir eine Zukunft, in der Originalinhalte und die Veröffentlichung von Code im Open Web ihren intrinsischen Wert verlieren, und die Organisationen, die von dem Umsatz und dem kollaborativen Fortschritt aus diesen Inhalten abhängen, sich nicht mehr selbst tragen können.

Zu viele Bots, zu wenig Zeit

Erschwerend kommt hinzu, dass KI-Bot-Scraping-Aktivitäten zu einem massiven, unerwünschten Anstieg des Traffics durch die Scraper führen können, was die Website-Performance für legitime Nutzer beeinträchtigen und zu Gebühren für die Überschreitung der Bandbreite führen kann. Die Wikimedia Foundation hat kürzlich die Schwere dieses Problems hervorgehoben. Ihre Infrastruktur, die für menschliche Traffic-Spitzen ausgelegt ist, leidet unter den unerbittlichen Angriffen von KI-Scraper-Bots, und die Kosten und Risiken, die mit unkontrolliertem KI-Content-Scraping verbunden sind, steigen rapide an. Drew DeVault, eine prominente Persönlichkeit der Open-Source-Community, erklärte unverblümt: „In den letzten Monaten habe ich, anstatt mich unseren Prioritäten bei SourceHut zu widmen, wöchentlich zwischen 20 % und 100 % meiner Zeit damit verbracht, übermäßig aggressive LLM-Crawler in großem Maßstab einzudämmen.“ Gemeinnützige und Open-Source-Organisationen stehen vor besonderen Herausforderungen durch dieses Problem, da sie bereits über begrenzte Ressourcen verfügen.

Was kann man tun, um dies zu stoppen? Der Werkzeugkasten enthält einige Techniken. Traditionelle Abwehrmaßnahmen wie robots.txt-Dateien haben sich als unwirksam gegen einige KI-Bots erwiesen – die Arten, die wahllos crawlen und etablierte Protokolle und Etikette ignorieren. Dies lässt die Urheber von Inhalten hilflos zusehen, wie ihre Arbeit ohne Erlaubnis oder Entschädigung konsumiert und umfunktioniert wird.

Selbst mit den vorhandenen Bot-Management-Tools war es schwierig, spezifische KI-Scraper-Aktivitäten zu identifizieren und zu mindern. Zunächst müssen Sicherheitsteams in der Lage sein, die Anwesenheit von KI-Bots zu erkennen und zu identifizieren. Von dort aus könnten sie sie vollständig blockieren oder ausgefeiltere Gegenmaßnahmen ergreifen, um sie abzufangen, zu täuschen oder sogar die Monetarisierung zu erzwingen. Sie möchten nicht, dass die Schutzmaßnahmen, die sie deployen, die gewünschten KI-Bots stoppen, wie jene, die KI-gesteuerte Suchmaschinenergebnisse ermöglichen. Ersteller benötigen eine Möglichkeit, KI-Bots strategisch zu verwalten, um die guten durchzulassen und bösartige oder unerwünschte KI-Bots zu blockieren.

Einführung von Fastly AI Bot Management

Fastly AI Bot Management baut auf der Leistungsfähigkeit von Fastly Bot Management auf, dem Marken wie JetBlue und LeMonde vertrauen, um ihre Websites vor Angriffen zu schützen und die Systeme für Kunden widerstandsfähig zu halten. Es ermöglicht Ihnen, das Verhalten von KI-Bots zu steuern und zu kontrollieren, die Inhalte von Websites durchsuchen und extrahieren. Erkennen Sie, welche KI-Bots auf Ihre Inhalte zugreifen, und ergreifen Sie Maßnahmen, um bestimmte KI-Bots basierend auf Ihren eigenen Richtlinien und gewünschten Antworten zu blockieren, abzufangen oder zuzulassen. Es ist jetzt für alle Fastly Bot Management-Kunden verfügbar und kann über unser Fast Forward-Programm kostenlos für große FOSS- und Open Web-Projekte und die gemeinnützigen Organisationen, die sie unterstützen, hinzugefügt werden. Fastly liefert im Namen der von uns unterstützten Open-Source-Projekte eine Million Anforderungen pro Sekunde aus.

Abbildung 1: Fastly AI Bot Management

Um dies zu ermöglichen, haben wir neue Signale für zwei separate Kategorien von verifizierten KI-Bots eingeführt.

AI-Crawler

Dieses Signal identifiziert KI-Bots, die das Internet durchkämmen und Wissen aufbauen, mit oder ohne Zustimmung des Inhaltseigentümers oder Nennung von Quellen.

AI Fetcher

Dieses Signal identifiziert Bots, die in Echtzeit mit im Internet gefundenen Daten Antworten liefern. Denken Sie daran, wenn Sie eine KI-gestützte Google-Suche nach „Grippesymptomen“ durchführen oder OpenAIs ChatGPT bitten, Ihnen bei der Recherche eines Themas für einen neuen Blogpost zu helfen. Diese Bots geben im Allgemeinen eine Zuordnung zu der Website an, von der sie die Informationen beziehen.

Niemand kann die Identität eines Bots verifizieren, der keine verifizierbaren Methoden dafür bereitstellt. Und wir verraten Ihnen auch, wie: Ein Bot-Betreiber muss eine Methode veröffentlichen, um seinen Bot für andere identifizierbar zu machen. Normalerweise ist dies eine Liste von IP-Adressen, die der Betreiber bestätigt, dass der Bot ausschließlich verwenden wird. Jedoch veröffentlichen nicht alle Bot-Betreiber verifizierbare Methoden, insbesondere jene, die Inhalte ohne Zustimmung oder Quellenangabe scrapen.

Um diese nicht verifizierbaren KI-Bots anzugehen, haben wir zwei weitere KI-Bot-Signale hinzugefügt, die verdächtige KI-Crawler- oder KI-Fetcher-Bots anhand ihrer User-Agent-Informationen identifizieren. Kunden können bei diesen Signalen dieselben Aktionen ausführen wie bei den verifizierten Signalen.

Schützen Sie Ihre wertvollen Inhalte vor Scraping

Der Schutz des offenen Webs und die Unterstützung des freien Austauschs von Wissen sind von entscheidender Bedeutung. Indem wir Inhaltserstellern und Plattformen ermöglichen, fundierte Entscheidungen über den Zugriff von KI-Bots zu treffen, können wir dazu beitragen, die Integrität von Online-Inhalten und Code zu bewahren und eine faire Vergütung sowie die Möglichkeit zur Zustimmung für diejenigen sicherzustellen, die sie erstellen. 

Möchten Sie Ihre IP und Daten schützen oder bessere Einblicke in die Vorgänge beim Crawlen Ihrer Website gewinnen? Chatten Sie mit unserem Team von Sicherheitsexperten, um eine personalisierte Demo zu erhalten und zu sehen, was AI Bot Management für Sie leisten kann! Wenn Sie bereits Fastly Bot Management verwenden, können Sie noch heute ganz einfach mit den neuen KI-Bot-Signalen beginnen. Wenn Sie ein freies und Open-Source-Projekt oder eine Organisation sind, die solche Projekte unterstützt, nehmen Sie Kontakt mit uns auf, um sich für Fast Forward anzumelden und kostenlos geschützt zu werden!