Hallo Leute!
Wenn ich in meinen Log-Files folgende Einträge finde, was sagt mir das dann?
Bedeutet das, dass Aol meine Seiten cacht?
Sollte ich das verhindern oder schließe ich dann AOL-Kunden aus?
Mein Problem: ich habe ein Shop-System suchmaschinenfreundlich umgebaut und möchte zwar, dass sich diverse Robots und Crawler den Inhalt ziehen aber ich möchte nicht, dass sich jeder dahergelaufene Proxy die Seite zieht - wäre u.U. eine zu hohe Auslastung.
Daher bin ich an eure Meinung interessiert.
Hier der Log-Ausschnitt:
Wenn ich in meinen Log-Files folgende Einträge finde, was sagt mir das dann?
Bedeutet das, dass Aol meine Seiten cacht?
Sollte ich das verhindern oder schließe ich dann AOL-Kunden aus?
Mein Problem: ich habe ein Shop-System suchmaschinenfreundlich umgebaut und möchte zwar, dass sich diverse Robots und Crawler den Inhalt ziehen aber ich möchte nicht, dass sich jeder dahergelaufene Proxy die Seite zieht - wäre u.U. eine zu hohe Auslastung.
Daher bin ich an eure Meinung interessiert.
Hier der Log-Ausschnitt:
PHP-Code:
Platz Rechner Zugriffe % Bytes %
1 crawlers.looksmart.com 2,328 4.51 64,843,207 3.62
2 cache-frr-ac09.proxy.aol.com 246 0.48 10,654,785 0.59
3 cache-frr-ad10.proxy.aol.com 211 0.41 8,867,657 0.49
5 cache-frr-ad12.proxy.aol.com 180 0.35 6,943,907 0.39
6 cache-frr-ae11.proxy.aol.com 159 0.31 4,408,156 0.25
Kommentar