dyingeyes weblog » Refererspam

Und raus bist du

Boris Stumpf — Thu, 18 Jan 2007 10:16:07 +0000

Wenn du ein Suchmaschinen-Bot bist und dich nicht einmal für meine robots.txt interessierst (geschweige denn ignorierst, was drinnen steht), dann wirst du ganz einfach ausgesperrt.

Nicht wahr, lieber WWWeasel Robot v1.00?

Und wenn du, lieber ottosuch-Bot, seit wirklich geraumer Zeit meinst, mich für blöd halten und mir beständig unter Vorspiegelung gefälschter User-Agents deinen Referer ins Logfile spammen zu können, dann wirst du jetzt ganz einfach schon auf Serverebene ausgesperrt.

Der Rest eurer ebenso unwillkommenen Kollegen, die sich bloß wichtig machen wollen, wird hier im Blögchen ja schön von Bad Behavior abgefangen.

Nachtrag kurz vor Mittag:

Zum ottosuch-Thema und dem dahinter stehenden »Geschäftsmodell« samt Betreiber gibts ausgehend von z.B. Eierstede! jede Menge mehr zu lesen.

© Boris Stumpf - dyingeyes weblog 2004ff
Dieser Feed ist nur für die persönliche, nicht gewerbliche Nutzung bestimmt. Die Verwendung dieses Feeds auf kommerziellen Webseiten und/oder ohne Quellenangabe verstößt gegen die Lizenzbedingungen der Creative Commons License.
(Digitaler Fingerabdruck: 60c77d9e74d57f2299f42475f0e24778)

Aus der Log-Kiste

Boris Stumpf — Tue, 21 Nov 2006 23:55:16 +0000

User-Agent: »FOTOCHECKER WIR FINDEN SIE ALLE!«
Meinetwegen, klar doch. Aber ab sofort nicht mehr bei mir!

User-Agent: »http://pressemitteilung. ws/«
Referer: »http://pressemitteilung. ws/«
Was interessiert mich das?
Spammt mir gefälligst nicht euren Referer ins Log! Das gilt weiterhin auch für den ottosuch.

Die Lästigen sterben nicht aus. Sie vermehren sich eher…

Bad Behavior 2.0.7

Boris Stumpf — Mon, 06 Nov 2006 21:00:22 +0000

Heute erschienen, schon eingespielt hier auf meinem WordPress-Blögchen.

Zuletzt hat es mal ein sogenanntes »False Positive« gegeben, d.h. es wurde jemand ausgesperrt, der immer nur ganz brav spamfrei liest und kommentiert. Habe daraufhin einen entsprechenden IP-Bereich in der Whitelist (›whitelist.inc.php‹) freigegeben. Was das Problem erst einmal ad hoc behoben haben sollte. Das Problem lag offenbar in der pluginseitigen Abfrage von externen »Blacklists«.
Möglicherweise zeigen sich die Verbesserungsbemühungen für die neue Version u.a. in Form noch feinerer Differenzierung von verdächtigen IP-Adressen. Mal sehen…

Kommentare von:

Lyrasia am 7.11.2006
Boris (Autor) am 7.11.2006

Referer-Otto

Boris Stumpf — Thu, 17 Aug 2006 20:04:37 +0000

Seit ziemlich geraumer Zeit beobachte ich einen Spider (Bot), der mir mäßig, aber recht regelmäßig seinen URI (ottosuch.de) in die Referer spammt. Das nutzt ihm zwar absolut gar nichts, und wegen Blockade via .htaccess kommt er hier im Blögchen auch nicht weiter und kann vor allem keine E-Mailadresse auslesen. Was er womöglich täte, wenn er könnte… vermute ich.

Er interessiert sich überhaupt nicht für eine robots.txt, und seine Natur verschleiert er reichlich ungeschickt über faule User-Agent-Angaben.

Urteil: Endgültig disqualifiziert.

Habe heute mal ein wenig mit Hilfe einer guten Suchmaschine nach dem kleinen Wicht gesucht und zahlreiche interessante Fundstellen aufgestöbert. Das Ding nebst Betreiber ist offenbar schon vielerorts mit diversen Aktivitäten höchst unangenehm aufgefallen, wie mir scheint. Suchet selbst, und ihr werdet finden…

Bislang kommt das Ding immer über dieselbe IP-Adresse reingeschneit, die wohl einem dedizierten Mietserver bei einem bekannten Provider zuzuordnen ist, auf dem auch die zugehörige(n) Website(s) angesiedelt sind.

Wer also sichergehen will, dass seine Website unbehelligt bleibt und sich dabei über etwas Refererspam nicht weiter aufregt, sperre einfach die IP-Adresse oder den Namen des Dings (z.B. ›ottosuch‹) im Refererfeld in seiner .htaccess-Datei.

Bei eigenem Server (und entsprechender Zugangsmöglichkeit) empfiehlt sich womöglich auch die harte Tour per Komplettverweis via iptables-Regel.

Bad Behavior: Keys und was dahintersteckt

Boris Stumpf — Wed, 05 Jul 2006 19:37:35 +0000

Anders als bei den Vorversionen (1.2.x) wird in Bad Behavior 2 bei den blockierten Zugriffen nicht mehr offen in die Datentabelle geschrieben, warum der jeweilige Zugriff blockiert wurde. Und auch die HTTP-Antwortcodes (200, 400, 403, 412 etc.) sind nicht mehr sichtbar.

Stattdessen schreibt das Plugin pro Eintrag lediglich einen Zahlencode in das Feld »Key« der angelegten Datentabelle.

In einer Antwort des Entwicklers (Kommentar Nr. 32) als einzige Fundstelle auf eine Anfrage per Kommentar (Nr. 21) konnte ich nur die folgende Differenzierung entnehmen:

Steht im Feld »Key« der Zahlenwert 00000000, so heißt das, dass der Request geloggt, aber nicht blockiert wurde. Laut Entwickler loggt ›Bad Behavior‹ auch solche Zugriffe, die nicht eindeutig als Spamkommentar eingestuft werden, die aber trotzdem aufgrund bestimmter Kriterien an der Schwelle zum Verdacht stehen.

Alle anderen Zahlenwerte (z.B. 17566707 oder 17f4e8c8) stehen für blockierte Zugriffe. Mehr noch: Sie stehen für klar definierte Antworten des Plugins auf den jeweiligen Request, samt HTTP-Antwortcode.

Und wo finde ich nun diese Informationen?

Im Verzeichnis, welches die Dateien des Plugins beherbergt, findet sich eine Datei ›responses.inc.php‹. Dort sind alle Key-Codes zu finden nebst den im jeweiligen Fall generierten Plugin-Antworten.
(Diese Key-Antwort-Zuordnung werde ich nun in vernünftig menschenlesbarer Form in eine Textdatei extrahieren, um bei Bedarf schnell nachgucken zu können…)

Und einen gibts beim Autor auch noch. Den ich mir gleich unten rechts verlinkt in die Seitenleiste baue…

Kommentare von:

Michael Hampton am 5.7.2006
Boris (Autor) am 5.7.2006
jens am 8.7.2006
dyingeyes weblog » Bad, bad, bad… Behavior am 8.1.2007

Schlechtes Benehmen, Version 2

Boris Stumpf — Wed, 05 Jul 2006 09:55:28 +0000

Vergangenen Monat hatte ich schon auf ein hochinteressantes Antispam-Plugin für WordPress geschrieben, welches ich seitdem höchst erfolgreich einsetze:

Bad Behavior, inzwischen ganz frisch erhältlich in Version 2.

Nochmal kurz zur Funktionsweise:

Das Plugin erkennt in Richtung des Blogs eingehende Spam-Attacken anhand der Analyse der HTTP-Header, welche die erzeugende Software übermittelt. Darüberhinaus werden auf diese Weise auch einige bekannte aggressive Web-Spider sowie E-Mail-Harvester erkannt und gebannt.

Der Witz dabei ist, dass dieses Tool schon die Anfragen der fraglichen Software-Tools (die Seitenaufrufe oder Requests) blockiert und mit 403-Fehlermeldungen oder selbstgenerierten 412-Fehlern beantwortet. Dies spart gerade bei den massiven Spamattacken, die viele von uns Bloggern inzwischen täglich heimsuchen, enorm Datenverkehr, da eben keine Dateien auf Requests mehr zurückgeliefert werden, sondern bloß Fehlermeldungen.

Auf diese Weise entlastet ›Bad Behavior‹ ganz nebenbei nachgeschaltete Plugins wie Akismet oder Spam Karma, die ja bekanntlich die eingegangenen Kommentare inhaltlich analysieren und ›bearbeiten‹.

Ich habe die Vorversion recht regelmäßig per Blick in die Datentabelle, in die ›Bad Behavior‹ die geblockten Requests protokolliert, kontrolliert. Mir sind dabei bisher keine »False Positives« aufgefallen. Das heißt, es sind wohl keine Anfragen blockiert worden, die von ›normalen‹ Besuchern meines Blögchens kamen. Die neue Version soll hier laut Entwickler noch etwas differenzierter zu Werke gehen.

Im Zweifelsfall aber sollte es durchaus möglich sein – ich meine das irgendwo gelesen zu haben – dass man gezielt bestimmte Zugriffe (User-Agents etc.) manuell per Konfiguration zulassen kann.

Kommentare von:

WWWorker - Sascha Carlin am 12.7.2006

Plugin gegen Spambots

Boris Stumpf — Wed, 07 Jun 2006 21:25:53 +0000

Dank eines Artikels von Sascha Carlin bin ich auf ein interessantes WordPress-Plugin gestoßen, welches angetan ist, Spambots direkt beim Zugriff auf Blog-Dokumente abzufangen und zurückzuweisen.

(Spambots sind Skripte, die Spammer verwenden, um Weblogs nach interessanten Informationen – E-Mailadressen – abzugrasen, sowie Skripte, die zum Zwecke des Absonderns von Kommentar-, Trackback- und Refererspam auf Weblogs losgelassen werden.)

Das Bad-Behavior-Plugin besteht aus einer Reihe von Dateien, die darauf angesetzt sind, unerwünschte User-Agents aufgrund ihrer auffälligen Besonderheiten in den übermittelten HTTP-Headern und anderer Kriterien zu erkennen und unverzüglich mit einer Fehlermeldung abzuweisen.

Die blockierten Zugriffe werden dabei mitgeloggt und in einer zusätzlichen Datenbanktabelle abgelegt, wo sie mit geeigneten Mitteln (z.B. phpmyadmin) überprüft werden können. Eine ›Whitelist‹ ist möglich, um im Zweifelsfall falsch erkannte, erwünschte User-Agents durchlassen zu können.

Wie Sascha Carlin schreibt, sollte das Plugin bei gutem Funktionieren eine angenehme Entlastung für Akismet darstellen. Dem pflichte ich uneingeschränkt bei.

Außerdem reduziert die Blockade unmittelbar beim Zugriff auf ein Dokument tatsächlich den Datenverkehr, wogegen Akismet ja erst im Nachhinein – nach erfolgtem Zugriff – tätig wird.

Ich habe das Plugin installiert und werde es die nächsten Tage genauer beobachten. Sollte einer meiner geneigten Leser ab sofort beim Zugriff auf dieses Blögchen abgewiesen werden, so möge er/sie es mir bitte mitteilen. Per Kommentar hier oder per E-Mail.

Kommentare von:

dyingeyes weblog » Schlechtes Benehmen, Version 2 am 5.7.2006

Referer-Quiz

Boris Stumpf — Tue, 02 May 2006 20:17:38 +0000

Was ergibt:

16x Aufruf der Eingangsseite des Blogs über 4 Tage verteilt
16x identischer Referer: http://www ottosuch de / index.php
16x identische IP-Adresse und dabei
4 unterschiedliche User-Agents in unregelmäßiger Folge

Refererspam?

Kommentare von:

Nicolai Schwarz am 2.5.2006