|
|
Hard und Soft 404 Nicht gefundene URLs im Website-Analyzer
A1 Website Analyzer verfügt über eine Option zum Crawlen von Fehlerseiten nach Links, da unsere Software über integrierte Schutzmaßnahmen gegen das Crawlen endloser Fehlerseiten verfügt.
Warum das Crawlen von „404 – Nicht gefunden“-Seiten-URLs problematisch ist
Im Allgemeinen ist das Crawlen von URLs mit der Fehlermeldung „404 – Nicht gefunden“ eine schlechte Idee. Um den Grund zu verstehen, werfen Sie einen Blick auf das folgende Beispiel des Prozesses in einem naiven Website-Crawler, der relativ defekte Links verarbeitet:
Aus diesem Grund crawlen die meisten Crawler standardmäßig nicht weiter Seiten, die 404 – Not Found zurückgeben.
- Crawler erkennt die URL http://www.example.com/directory/ und gibt 404 aus – nicht gefunden.
- Der Crawler findet http://www.example.com/directory/-Links zum Verzeichnis/something.
- Der Crawler verkettet http://www.example.com/directory/ und Directory/something zu http://www.example.com/directory/directory/something.
- Der Crawler erkennt die URL http://www.example.com/directory/directory/ und gibt 404 aus – nicht gefunden.
- Der Crawler findet http://www.example.com/directory/directory/-Links zum Verzeichnis/something.
- Der Crawler verkettet http://www.example.com/directory/directory/ unddirectory/something zu http://www.example.com/directory/directory/directory/something.
- Klassische Spinnenfalle, bei der das Website-Crawling für immer andauert.
Aus diesem Grund crawlen die meisten Crawler standardmäßig nicht weiter Seiten, die 404 – Not Found zurückgeben.
A1 Website Analyzer kann 404 Seiten crawlen
Einige Websites enthalten wichtige Links auf Seiten, die z. B. für den Fehler „404 – nicht gefunden“ zurückgegeben werden. Sie können A1 Website Analyzer dazu zwingen, Fehlerseiten nach Links zu durchsuchen, indem Sie die Option „ Website scannen |“ aktivieren Crawler-Optionen | Fehlerseiten crawlen.
Bitte beachten Sie, dass Links relativ zum aktuellen Pfad bei der Analyse von Fehlerseiten ignoriert werden, um zu vermeiden, dass Sie in eine endlose Crawling-Schleife geraten.
Wenn es erforderlich ist, dass Fehlerseiten-URLs auf Links überprüft werden, verwenden Sie stattdessen eine der folgenden Arten von Links:
Bitte beachten Sie, dass Links relativ zum aktuellen Pfad bei der Analyse von Fehlerseiten ignoriert werden, um zu vermeiden, dass Sie in eine endlose Crawling-Schleife geraten.
Wenn es erforderlich ist, dass Fehlerseiten-URLs auf Links überprüft werden, verwenden Sie stattdessen eine der folgenden Arten von Links:
- /Verzeichnis/etwas
- http://www.example.com/directory/something
Soft 404-Fehler und wie man sie vermeidet
Wenn Ihre Website für eine nicht vorhandene URL korrekt die HTTP-Antwort 404 – Nicht gefunden zurückgibt, spricht man von einem harten 404-Fehler. Umgekehrt liegt ein Soft-404-Fehler vor, wenn Ihre Website stattdessen fälschlicherweise beispielsweise mit der HTTP-Antwort 200 – Gefunden antwortet.
Der Grund dafür, dass Soft Errors für Crawler problematisch sind, besteht darin, dass sie Spider-Fallen erzeugen, ähnlich wie oben beschrieben.
Hinweis: Auch wenn auf Ihrer Seite im Seiteninhaltstext für URLs und Seiten, die nicht vorhanden sind, sichtbar „nicht gefunden“ steht, müssen Sie sicherstellen, dass Ihre Website tatsächlich den HTTP-Antwortcode 404 – Nicht gefunden und nicht z. B. 200 – Gefunden zurückgibt.
Der Grund dafür, dass Soft Errors für Crawler problematisch sind, besteht darin, dass sie Spider-Fallen erzeugen, ähnlich wie oben beschrieben.
Hinweis: Auch wenn auf Ihrer Seite im Seiteninhaltstext für URLs und Seiten, die nicht vorhanden sind, sichtbar „nicht gefunden“ steht, müssen Sie sicherstellen, dass Ihre Website tatsächlich den HTTP-Antwortcode 404 – Nicht gefunden und nicht z. B. 200 – Gefunden zurückgibt.
