Hier werden alle bekannten Suchmaschinen Robots/Spider/Crawler gelistet.
________________________________________________________________________
Boitho.com-robot/1.1
Spider von der norwegischen Suchmaschine https://www.boitho.com/index.htm.en
(englische Seiten werden gespidert und im Index aufgenommen) beachtet Robots.txt
bekannte IP: 217.118.38.226 - 217.118.38.234
Um diesen Robot von Ihrer Seite zu bannen geben sie folgende Zeile in Ihre Robots.txt ein
Um diesen Robot von Ihrer Seite zu bannen geben sie folgende Zeile in Ihre Robots.txt ein
User-agent: slurp
Disallow: /
Anmerkung: Wichtiger Robot - Inktomi liefert Daten für MSN und Hotbot
_______________________________________________________________________
Szukacz/1.5
Spider von der polnischsprachigen Suchmaschine https://www.szukacz.pl/
(deutsche und englische Seiten werden gespidert und im Index aufgenommen) beachtet Robots.txt
bekannte IP: 193.218.115.XXX | 194.181.35.X
bramka.proszynski.pl und brama.proszynski.pl
Um diesen Robot von Ihrer Seite zu bannen geben sie folgende Zeile in Ihre Robots.txt ein