Linkaufrufe von Bots begrenzen

Robert79 · **Robert79** » 19.08.2015, 12:14 **Linkaufrufe von Bots begrenzen**

Guten Tag zusammen,

seit einigen Wochen "klicken" Bots/Scripte/Spider/wasauchimmer in schöner Regelmäßigkeit auf meine Affiliate-Links. Ich habe auf vielen Unterseiten jeweils eine Art Preisübersicht mit Links zu einzelnen Produkten, sodass pro Durchlauf mehr als 500 Klicks gemacht werden. Ich wurde von einem Affiliate-Netzwerk bereits darauf aufmerksam gemacht, dies zu unterbinden. Die Links sind alle mit "nofollow" versehen und die Weiterleitung auf die Partnerseiten geschieht per htaccess. Ich schaue nun täglich nach, ob am vergangenen Tag wieder ein Bot unterwegs war und sperre die IP-Range per htaccess aus. Die Server stehen mal in den USA, in Ungarn oder auch in der Ukraine.

Ich nutze Wordpress und habe keine großen Einflussmöglichkeiten auf die Einstellungen des Servers (nur Webspeicher gemietet). Weiß jemand einen Rat, wie man den Zugriff des Bots/Scripts begrenzen oder ganz verhindern kann? Sollte man die Links verschleiern bzw. nicht mehr klickbar machen (wenn ja, wie)? Oder gibt es eine Möglichkeit z.B. per PHP-Redirect den Bot/das Script ins Leere laufen zu lassen oder nach soundsovielen Linkaufrufen den Zugriff zu verweigern? Vielleicht gibt es auch ein geeignetes Plugin für Wordpress?

Hier kommt ein Auszug des Zugriffes von gestern:

84.3.11.236 - - [18/Aug/2015:12:27:37 +0200] "GET / HTTP/1.1" 200 28443 "-" "Java/1.8.0_51"
84.3.11.236 - - [18/Aug/2015:12:27:38 +0200] "GET /xmlrpc.php?rsd HTTP/1.1" 200 783 "-" "Java/1.8.0_51"
84.3.11.236 - - [18/Aug/2015:12:27:38 +0200] "GET /candle-light-dinner-berlin HTTP/1.1" 301 - "-" "Java/1.8.0_51"

Nun werden zahlreiche weitere Unterseiten abgerufen. Danach werden die darin enthaltenen Links aufgerufen.

84.3.11.236 - - [18/Aug/2015:12:46:58 +0200] "GET /ee/ee13159 HTTP/1.1" 301 346 "-" "Java/1.8.0_51"
84.3.11.236 - - [18/Aug/2015:12:46:59 +0200] "GET /ee/ee13874 HTTP/1.1" 301 346 "-" "Java/1.8.0_51"
84.3.11.236 - - [18/Aug/2015:12:47:00 +0200] "GET /ee/ee13938 HTTP/1.1" 301 356 "-" "Java/1.8.0_51"
84.3.11.236 - - [18/Aug/2015:12:47:00 +0200] "GET /ee/ee14061 HTTP/1.1" 301 352 "-" "Java/1.8.0_51"

"ee" ist die Abkürzung für einen Partner und die Zahl dahinter ist das jeweilige Produkt. Im Verzeichnis "ee" liegt die htaccess-Datei, welche die Weiterleitung zu den Produkten übernimmt (RedirectPermanent /ee/ee14061 Affiliate-Link).

Viele Grüße und schon einmal vielen Dank fürs Durchlesen,
Robert

Melegrian · **Melegrian** » 19.08.2015, 22:12 **Linkaufrufe von Bots begrenzen**

Dass Bots Links folgen, das ist ja zunächst einmal nichts Außergewöhnliches, dafür sind Links ja da. Ein Link ist ja nicht mehr als ein Verweis und ob der nun als rel-Attribut nofollow enthält oder nicht, dass ist den Bots ja egal. Möglicherweise hängt es ja auch nur mit der Form Deiner Weiterleitungen zusammen, dass die Bots das anfänglich für interne Links halten?

Früher genügte es Links in JavaScript zu notieren, heute nicht mehr. Bei einfach gestrickten Bots vielleicht ja doch noch, wenn die Buttons nur eine Funktion aufrufen, einfach einmal ausprobieren.

Code: Alles auswählen

<button onclick="leiteweiter&#40;'link340'&#41;">Apfelsinen<button>
<button onclick="leiteweiter&#40;'link341'&#41;">Bananen<button>

Noch besser:

Code: Alles auswählen

<button id="link340">Apfelsinen<button>
<button id="link341">Bananen<button>

Und mit addEventListener überwachen, die Klicks abfangen und weiterleiten, denn das werden normale Bots kaum machen.

nerd · **nerd** » 20.08.2015, 05:01 **Linkaufrufe von Bots begrenzen**

Alle meine links gehen auf eine weiterleitung.php, in welcher die klicks mit zeitstempel, ip usw. geloggt werden. Wenn eine IP mehr als 3 links in 5 sekunden aufruft, dann wird diese ip automatisch fuer eine woche gesperrt. Ausserdem werden vorherige logeintraege der selben IP aus meinen klick-logs geloescht und ein flag in der session gesetzt, worauf alle weiteren aufrufe dieser IP auf der kompletten seite nur noch status 404 zurueckgeliefert bekommen.

Auf der seite ist auch ein per css versteckter link der in der robots.txt als disallow gekennzeichnet ist. Alle bots die diesem link folgen werden ebenfalls rausgeworfen.
Diese loesung ist extrem pflegeleicht und ich muss nicht laufend irgendwelche ip adressen per hand aktualisieren.

BTW. in deinem beispiel kannst du doch auch per .htaccess einfach alles rauswerfen was "Java" im user-agent hat.

Robert79 · **Robert79** » 20.08.2015, 19:29 **Linkaufrufe von Bots begrenzen**

Ich danke euch beiden für die Tipps! Leider bin in Javascript und PHP kein Profi.

Ich habe mir jetzt angeschaut, wie man die Links mit Javascript umsetzen kann, ohne das ein "a href" benutzt wird. Leider habe ich es mit onmouseover bzw. mouseover nicht hinbekommen, dass in der Statusleiste des Browsers irgendetwas (wie z.B. die URL) angezeigt wird. Sowas würde ich schon gerne haben wollen. Ich selbst würde eher nicht auf einen Link klicken, bei dem ich beim Drüberfahren mit der Maus nichts in der Statusleiste lese.

Alle Java-Versionen als user-agent habe ich jetzt gesperrt. Ich musste leider feststellen, dass sich einige Scripte/Bots auch mit ganz normalen Browserkennungen angemeldet haben. Das ist also nur eine Teillösung.

@nerd
Teile deiner Datei weiterleitung.php würdest du mir nicht zufällig zur Verfügung stellen??? Der Teil mit der automatischen Sperrung nach einer Anzahl von Aufrufen in soundsoviel Sekunden wäre sehr hilfreich für mich.

nerd · **nerd** » 21.08.2015, 00:32 **Linkaufrufe von Bots begrenzen**

Hm dazu braucht es doch nicht viel.
Einfach zaehlen wieviele datensaetze mit der selben IP du in den letzten x sekunden hattest, und wenn es nich nicht zuviele sind dann diese anfrage mit zeitstempel und IP in der selben tabelle loggen und auf die gewuenschte seite weiterleiten.

Melegrian · **Melegrian** » 21.08.2015, 19:15 **Linkaufrufe von Bots begrenzen**

Robert79 hat geschrieben:Sowas würde ich schon gerne haben wollen.

Nun habe ich gerade einen Seite mit Button fertig. In der Seite einen Button:

Code: Alles auswählen

<button id="diese_id" type="button"> Download </button>

Dazu dann eine kleine JS-Datei:

Code: Alles auswählen

if &#40;document.getElementById&#40;"diese_id"&#41;&#41; &#123;
    var starte_download = document.getElementById&#40;"diese_id"&#41;;

    if &#40;window.addEventListener&#41; &#123;
        starte_download.addEventListener&#40;"click", leiteWeiter, false&#41;;
    &#125;
    else if &#40;window.attachEvent&#41; &#123;
        starte_download.attachEvent&#40;"onclick", leiteWeiter&#41;;
    &#125;
&#125;
function leiteWeiter&#40;&#41; &#123;
    window.location.href = "http&#58;//www.example.com/wohin_auch_immer.endung";
&#125;

Bei vielen Download-Verzeichnissen müsstest Du die noch in einer Funktion kapseln, um mehr als eine ID zu übernehmen. In diesem Fall würde dann nicht nur eine einzelne ID überwacht, sondern ein DIV-Bereich oder wie auch immer. Zwei Beispiele von mir:

https://www.coder-welten.com/event-tracking/

Bin aber über ein anderes Problem gestolpert. IE und FF alles OK beim Download, nur der Chrome meldet:

"... ist ein ungewöhnlicher Download und könnte schädlich sein."

In Foren gesucht und was gefunden, ohne SSL Zertifikat oder kostenpflichtige Signatur müssen Download-Verzeichnisse erst von Google gecrawlet werden, bevor diese Meldung verschwindet. Stelle mir nun die Frage, wenn Bots die nicht finden sollen, ob Google die dann findet. Zumal das Ziel der Weiterleitung ja nicht das Zip-Archiv ist, sondern nur eine Datei, die den Download auslöst und notiert.

Pompom · **Pompom** » 22.08.2015, 09:51 **Linkaufrufe von Bots begrenzen**

Hast Du sinnvolle Zugriffe über Java-Referer?
Wenn nicht: Sperre über die .htaccess doch einfach die Zugriffe.

Robert79 · **Robert79** » 23.08.2015, 10:59 **Linkaufrufe von Bots begrenzen**

Danke für eure Rückmeldungen!

@Melegrian
Mhhhmhm. Das schreckt mich ehrlich gesagt mit der Chrome-Meldung ein bisschen ab. Damit habe ich ja nichts gewonnen, wenn der Nutzer solch eine Meldung sieht.

@Pompom
"Alle Java-Versionen als user-agent habe ich jetzt gesperrt ..."
--------

Als Anfänger in PHP habe ich mir jetzt folgendes Script gebastelt. Es ist sicher viel zu umständlich und hat bestimmt auch Ungereimtheiten (wie die Sperrung nach soundsoviel Zugriffen in einer Minute). Das könnte man sicher besser lösen. Aber besser bekomme ich es nicht hin. Ich bin für jeden Verbesserungsvorschlag dankbar.

Code: Alles auswählen

<?php

# Logdatei auf Zeilenanzahl pruefen und bei mehr als x Zeilen Datei leeren
$datei="logdatei.txt";
$logdatei = fopen&#40;$datei,"r+"&#41;;
$zeilenanzahl = 0;
while &#40; $zeile = fgets&#40;$logdatei,4096&#41; &#41;
     &#123;
    	$zeilenanzahl++;
     &#125;

if &#40;$zeilenanzahl > "20"&#41;
	&#123;
	unlink&#40;$datei&#41;;
	touch&#40;$datei&#41;;
	&#125;


# Logdaten schreiben mit Unterscheidung nach Minuten
fputs&#40;$logdatei,
    date&#40;"d.m.Y, H&#58;i",time&#40;&#41;&#41; .
    ", " . $_SERVER&#91;'REMOTE_ADDR'&#93; ."\n"
    &#41;;
fclose&#40;$logdatei&#41;;


# Logdatei auslesen und Zeilenumbrueche korrigieren
$text = file_get_contents&#40;'logdatei.txt'&#41;;
$text = str_replace&#40;"\r\n", "\n", $text&#41;;
$text = str_replace&#40;"\r", "\n", $text&#41;;


# Array bilden, bei Vorhandensein von mindestens 15 Datensaetzen die Teile 6 bis 15 auf Uebereinstimmung pruefen &#40;10 Zugriffe innerhalb einer Minute&#41;, IP mithilfe der htaccess-Datei sperren
$array = explode&#40;"\n", $text&#41;;
	if &#40;$array&#91;15&#93; != 0&#41; &#123;
		if &#40;$array&#91;5&#93; == $array&#91;6&#93; && $array&#91;6&#93; == $array&#91;7&#93; && $array&#91;7&#93; == $array&#91;8&#93; && $array&#91;8&#93; == $array&#91;9&#93; && $array&#91;9&#93; == $array&#91;10&#93; && $array&#91;10&#93; == $array&#91;11&#93;&& $array&#91;11&#93; == $array&#91;12&#93; && $array&#91;12&#93; == $array&#91;13&#93; && $array&#91;13&#93; == $array&#91;14&#93; && $array&#91;14&#93; == $array&#91;15&#93;&#41; &#123;
			$htaccessdatei = fopen&#40;".htaccess","a"&#41;;
			fputs&#40;$htaccessdatei, "order allow,deny"."\n"."deny from ".$_SERVER&#91;'REMOTE_ADDR'&#93; ."\n"."allow from all"."\n\n"&#41;;
			fclose&#40;$htaccessdatei&#41;;
		&#125;
	&#125;


# Weiterleitung auf die gewuenschte Seite &#40;Aufruf ueber weiterleitung.php?link=123&#41;
switch &#40;$_GET&#91;'link'&#93;&#41; &#123;
case "123"&#58; header&#40;"Location&#58; http&#58;//www.example.com/123"&#41;; break;
case "345"&#58; header&#40;"Location&#58; http&#58;//www.example.com/345"&#41;; break;
&#125;

?>

Melegrian · **Melegrian** » 23.08.2015, 12:45 **Linkaufrufe von Bots begrenzen**

Kann ich auf die Schnelle nicht nachvollziehen. Hier etwas von mir.

Schreibt die Zugriffe der letzten -3600 Sekunden in Datei, die Zugriffe von vor -3601 Sekunden und älter werden bei nächsten Aufruf wieder gelöscht, so das die Datei nicht aufbläht. So wie eine IP $vorgabe_maxh überschreitet, kann dann Exit für diese IP ausgelöst werden, alle anderen IP-Adressen sind nicht betroffen. Kannst ja im Browser 11 mal aufrufen, beim elften Aufruf sollte dann die gesperrte angezeigt werden.

Du brauchst nicht die htaccess überschreiben, Du brauchst nur mit exit die weitere Ausführung beenden. Oder die Weiterleitung nur im Else-Zweig ausführen.

Code: Alles auswählen

<?php
$kam_mit_ip = $_SERVER&#91;"REMOTE_ADDR"&#93;;
$controldatei = "visitscontrol.txt";
$speichertime = time&#40;&#41;;
$kontrollzeit = $speichertime -3600;
$vorgabe_maxh = 10;                    // max pro h von einer ip
$max_anzahl   =  0;
$alterstring  = "";
$gesamt_stunde = array&#40;&#41;;

// Prüfen, ob die Datei existiert und lesbar ist
if &#40;file_exists&#40;$controldatei&#41; and is_readable&#40;$controldatei&#41;&#41; &#123;
    // Datei zum Lesen öffnen
    $lesen = fopen&#40;$controldatei,"r"&#41; or exit&#40;"F1"&#41;;

    // Eine Zeile nach der anderen lesen, so lange nicht das Dateiende erreicht ist.
    while&#40;!feof&#40;$lesen&#41;&#41; &#123;
        $eintraege = fgets&#40;$lesen&#41;;
        $eintraege = preg_replace&#40;"/&#91;^a-zA-Z0-9\/_.&#58;&=-&#93;/", "", $eintraege&#41;;
        parse_str&#40;$eintraege&#41;;

        // Prüfen, ob beibe Variablen geparst wurden und einen Wert enthalten.
        if &#40;isset&#40;$prostunde&#41; and !empty&#40;$prostunde&#41; and isset&#40;$ipad&#41; and !empty&#40;$ipad&#41;&#41; &#123;

        // Nur die Einträge erneut in $alterstring einlesen, die in der letzten Stunde &#40;-3600&#41; erfolgten
            if &#40;$prostunde > $kontrollzeit&#41;&#123;
                $gesamt_stunde&#91;&#93; = $ipad;
                $alterstring .= trim&#40;"t&prostunde=".$prostunde."&ipad=".$ipad&#41;."\n";

                unset&#40;$prostunde&#41;;
                unset&#40;$ipad&#41;;
            &#125;
        &#125;
    &#125;
    fclose&#40;$lesen&#41;;
&#125;

$neuerstring = trim&#40;"t&prostunde=".$speichertime."&ipad=".$kam_mit_ip&#41;."\n";
file_put_contents&#40;$controldatei, $alterstring.$neuerstring, LOCK_EX&#41;;

$zaehlips   = array_count_values&#40;$gesamt_stunde&#41;;
$max_anzahl = max&#40;$zaehlips&#41;;
$welche_ip  = "-";

if &#40;$max_anzahl >= $vorgabe_maxh&#41; &#123;
    $welche_ip = array_search&#40;$max_anzahl, $zaehlips&#41;;
&#125;
if &#40;$welche_ip == $kam_mit_ip&#41; &#123;

    echo $welche_ip;
    /*
     Gibt jetzt nur die IP aus, die bereits max pro h von einer ip
     überschritten hat. Dafür könnte auch exit folgen.
    */
&#125; 
else echo "Es hat noch keine IP-Adresse das Limit überschritten.";
?>

Robert79 hat geschrieben:Das schreckt mich ehrlich gesagt mit der Chrome-Meldung ein bisschen ab.

Geht mir nicht anders, werde mir das noch einige Tage anschauen, wenn es dann immer noch so sein sollte, irgendwie ändern. Liegt ja vielleicht nicht an JavaScript, ist vielleicht bei allen neuen Download-Dateien so, dass die erst gecrawlet werden müssen? Nur bisher scheint da noch kein Bot durchgekommen zu sein. Bei meinen älteren Scripts, die ich so zum Download anbiete, ist es ja auch nicht. Wenn das nur an der JS Weiterleitung liegen sollte, dann muss ich halt mal schauen.

nerd · **nerd** » 24.08.2015, 01:05 **Linkaufrufe von Bots begrenzen**

Robert79 hat geschrieben: Als Anfänger in PHP habe ich mir jetzt folgendes Script gebastelt.
Code: Alles auswählen
<?php

# Logdatei auf Zeilenanzahl pruefen und bei mehr als x Zeilen Datei leeren
&#91;...&#93;

Das sieht mir extrem kompliziert aus. Ich wuerde hier empfehlen eine datenbank zu verwenden, einfach weil es einfacher und uebersichtlicher zu programmieren ist, und du musst nicht zeile fuer zeile haendisch parsen, zaehlenn und herrausfinden wie alt der datensatz ist.

Robert79 hat geschrieben:

Code: Alles auswählen

# Weiterleitung auf die gewuenschte Seite &#40;Aufruf ueber weiterleitung.php?link=123&#41;
switch &#40;$_GET&#91;'link'&#93;&#41; &#123;
case "123"&#58; header&#40;"Location&#58; http&#58;//www.example.com/123"&#41;; break;
case "345"&#58; header&#40;"Location&#58; http&#58;//www.example.com/345"&#41;; break;
&#125;

?>

Ohje, ist das wirklich dein code den du auf deinem server einsetzt?
Das ist schlecht weil du hier die programm-logik (WAS soll passieren) mit den daten (in dem falle: auf welche url soll weitergeleitet werden?) mixt. Idealerweise haeltst du die beiden konzepte getrennt, etwa so:

Code: Alles auswählen

// parameter mit &#40;int&#41; zwingend in einen zahlenwert konvertieren, und pruefen on der wert gesetzt ist&#58;
$link_id = &#40;int&#41;$_GET&#91;'link'&#93;;
if&#40;!empty&#40;$link_id&#41;&#41; &#123;
$sql  = "SELECT destination FROM redirects WHERE id = ".$link_id;
&#91;abfrage ueber deine db klasse&#93;
if&#40;!empty&#40;result&#91;'destination'&#93;&#41;&#41; &#123;
$redirect = result&#91;'destination'&#93;;
&#125; else &#123;
$redirect = error_log&#40;"Link ID ".$link_id." nicht vornhanden &#40;ref&#58; ".$_SERVER&#91;'HTTP_REFERER'&#93;."&#41;"&#41;;
&#125;

Wenn du deine daten alle schoen praktisch in der datenbank ablegt, ist es deutlich einfacher sie spaeter zu bearbeiten, zu aendern usw. und auszuwerten - entweder ueber phpMyAdmin oder du bastelst dir noch eine mobile-freundliche seite um sie vom handy aus bearbeiten zu koennen.