Suchmaschinen ausschliessen

**jahlives** · 13.11.2007, 11:42

Würde das auch mit der robots.txt funktionieren? Es gibt doch immer wieder schwarze Schafe die die robtos.txt einfach ignorieren?!

Also über die robots.txt dürfte der richtige Ansatz sein. Zusätzlich könntest du mittels Prüfung des User Agent die schwarzen Schafe einfangen. Wenn jetzt aber jemand einen Bot schreibt, der sich einen Dreck um robots.txt schert und sich als IE ausgibt, dann wird es sehr schwierig.
Aber 99.9% der seriösen SuMa werden sich an Beschränkungen von robots.txt halten.

Gruss

tobi

**matz0r** · 13.11.2007, 11:44

Re: Suchmaschinen ausschliessen

Original geschrieben von PHPbeginner

Wie schliesse ich die Suchmaschinen ab besten aus?

- robots.txt
- useragent analysieren
- bestimmte ip ranges bannen

Aber alles kein 100%iger Schutz (außer du kennst alle IP Adressen aller Suchemaschinen oO)

**PHPbeginner** · 13.11.2007, 12:09

Danke für eure Antworten. Dann werde ich sicherlich mal die robots.txt verwenden.

Aber eine Frage dazu hab ich trotzdem. Wenn z.B. irgendwo in einem fremden Forum der Link (http://www.domain.de/ref.php?code=js3K) steht, checkt die Suchmaschine dann zuerst die robots.txt BEVOR sie den Link aufruft? Weil wenn sie die ref.php öffnet, zählt der klick bereits.

Zu User Agent und IP-Adressen:
Gibt's vielleicht irgendwo eine Liste aller User Agents bzw IP-Adressen der Suchmaschinen? Nicht dass ich noch jemand falsches aussperre.

Vielen Dank!

**jahlives** · 13.11.2007, 12:22

User Agents: http://www.user-agents.org/
Ips: http://www.iplists.com/nw/

Gruss

tobi

Suchmaschinen ausschliessen