Error 404

[Borsi]

Hallo

Ich hab via .htaccess eine alternative Fehlerseite für den Fehler 404 erstellt.
(ErrorDocument 404 /404.php?Nr=404)

Nun habe ich das Problem, dass Suchmaschinen Seiten indexieren wollen, die es seit Ewigkeiten nicht mehr gibt. Diese Suchmaschinen landen nun auf der Seite 404.php

Frage
Gibt es eine Möglichkeit, die alternative Seite 404.php nur Menschen zu zeigen, Suchmaschinen aber ins Leere laufen zu lassen? So könnte der Suchmaschinenindex wieder aktuell sein.

Gruss
Borsi

[wahsaga]

Re: Error 404

1. falsches forum -> *verschieb*

2. was glaubst du, wozu ein HTTP status code 404 gut ist ...?

[Borsi]

Hallo

> was glaubst du, wozu ein HTTP status code 404 gut ist ...?
Eine Frage mit einer Gegenfrage beantworten?
Nun, ich weiss es nicht.

Meine 404.php beginnt mit der Zeile

header("HTTP/1.0 404 Not Found");

dass hat aber keine Lösung gebracht.

[Payne_of_Death]

Original geschrieben von Borsi
Hallo

> was glaubst du, wozu ein HTTP status code 404 gut ist ...?
Eine Frage mit einer Gegenfrage beantworten?
Nun, ich weiss es nicht.

Meine 404.php beginnt mit der Zeile

header("HTTP/1.0 404 Not Found");

dass hat aber keine Lösung gebracht.

Der 404 Error wird von den Searchengines ausgewertet ohne diesen Rückgabewert wäre es schwierig zu erkennen ob die Page noch existiert.

Von Fireball weiss ich das es bisher eigentlich immer die angesprochenen Indexierung Fehler gab ob das immer noch so ist weiss ich nicht.

Nur google z.B. ist dieser Rückgabewert eigentlich egal, die drehen ihr eigenes Ding.

Soweit zu meiner Information......

[wahsaga]

Original geschrieben von Borsi
Nun, ich weiss es nicht.

der ist natürlich dazu da, um dem anfordernden client mitzuteilen, dass es die ressoruce nicht mehr gibt - und dabei ist es völlig wurscht, ob dieser client evtl. auch ein suchmaschinen-bot ist.

dass hat aber keine Lösung gebracht.

und innerhalb welchen zeitraumes bist du zu dieser beobachtung gekommen ...?

[Borsi]

Zeitraum ca. 1 Woche.

Es geht vor allem um die Suchmaschine voila.com, die täglich meine Site nach immer denselben (nicht vorhandenen) Seiten scannt.

Ich hatte die Hoffnung, dass der erwähnte Header-Befehl das Problem löst. Weitere Lösungsansätze kenne ich nicht.

Gruss

[wahsaga]

die kenne ich gar nicht ... scheint mir aber nicht so besonders pralle zu sein. wenn man oben auf die englische frage klickt, ändert sich lediglich das Bienvenue in Welcome, alles andere bleibt in französisch ... komisches konzept.

bist du denn darauf angewiesen, in deren index drin zu sein? ansonsten würde ich deren bot eher ganz aussperren. per robots.txt, oder wenn sie darauf nicht reagiert, dann halt per mod_rewrite o.ä. einen 403 präsentieren.

[Borsi]

Hallo

Nein, das Problem liegt ganz woanders.

Jeder Aufruf meiner 404.php-Seite erzeugt eine E-Mail an mich.
So erkenne ich ggf. schnell, ob ich in der Site tote Links habe resp. ob meine Linkpartner auf die falsche Seite linken. So kriegte ich früher über alle meine Sites einige wenige E-Mails pro Tag.

Seit ca. 4 Wochen kriege ich nun täglich ca. 150 unnütze E-Mails, die vor allem von voila.com stammen, teilweise auch von anderen Robots.
Deshalb auch die Suche nach einer geschickten Lösung für das Problem.

Gruss

[wahsaga]

dann würde ich vor dem versenden der email einfach abfragen, ob der referrer einen hinweis auf voila.com enthält (viele bots geben sich ja im request per referrer zu erkennen) - und würde dann auf den mailversand einfach verzichten.

ob der bot so einfach eindeutig zu identifizieren ist, kannst du ja mal in deinen logs nachschauen.

[Borsi]

Hallo

Nun, dass löst das ursprüngliche Problem nicht, schafft mir aber die unnötigen E-Mails vom Halse. Wahrscheinlich werde ich es so lösen müssen.

Vielen Dank für Eure Tipps.

[wahsaga]

Original geschrieben von Borsi
Nun, dass löst das ursprüngliche Problem nicht

tja, was erwartest du?

wenn ein SuMa-bot wirklich nicht kapieren will, was ein 404 bedeutet - was will man da machen?

wie gesagt, ich würde dazu tendieren, solch einem dummbot lieber gleich bei jedem request einen 403 vor den latz zu knallen - aber ob ihn das zum aufhören bringt, oder ob er sich diese 403-ohrfeige trotzdem auch noch jeden tag wieder abholen kommt, kann man vor dem ausprobieren nicht sagen ...