Mehrere Startsuchpfade und Root-Aliase im Crawler

Unser Website-Download-Tool unterstützt das Mischen mehrerer Domänen und zusätzliche Start-Scan-Pfade.

Websites mit Domain Mirrors oder mehreren Root-Pfad-URLs

Obwohl dies aufgrund von Problemen mit doppeltem Inhalt normalerweise nicht empfohlen wird, vermischen einige Websites in URLs Domains, Links sowie die Verwendung von www und nicht www. Erstellen Sie in solchen Fällen nach der Konfiguration des zu scannenden Site-Roots, bei dem es sich normalerweise um die primäre Domäne handelt, eine Liste der Root-Aliase.

Domänen-Stammpfad-Aliase

Hinweis: Sie müssen die Schaltfläche [+] verwenden, um der Dropdown-Liste einen Root-Pfad-Alias hinzuzufügen.

In Website scannen | Mit den Crawler-Optionen können Sie das Website-Download-Tool so konfigurieren, dass gängige Root-Pfad-Aliase automatisch hinzugefügt werden:

automatische Root-Pfad-Aliase

Der Website-Root-Pfad und wie er sich auf das Crawling auswirkt

Wenn Sie http://example.com/blogs/ als Root verwenden, werden alle Pfade außerhalb (mit Ausnahme von Root-Pfad-Aliassen), wie z. B. http://example.com/forum/, weder in die Ausgabe noch in die Analyse einbezogen.

Eine bessere Alternative könnte darin bestehen, den Website-Root als http://example.com/ beizubehalten und anschließend Analysefilter, Ausgabefilter und zusätzliche Startsuchpfade (siehe unten) zu verwenden, um das Crawlen Ihrer Website und die resultierende Ausgabe zu steuern.

Hinweis: In diesem Fall müssen Sie möglicherweise die Option Website scannen | deaktivieren Crawler-Optionen | Korrigieren Sie interne URLs, wenn die Root-URL der Website zu einer anderen Adresse weiterleitet.

Scannen Sie Websites über mehrere Startsuchpfade

Websites mit Site- Bereichen, die keine eingehenden Links vom Rest der Website haben, können manchmal ein Problem verursachen.

Denken Sie daran, dass die Querverlinkung versteckter Seiten nicht hilft, wenn keine davon von einer anderen Stelle auf der Website verlinkt ist.

Dieses Problem kann mit der Download-Software unserer Website leicht gelöst werden. Es ist möglich, einen Website-Scan zusätzlich zum Stammverzeichnis des Website-Verzeichnisses von mehreren Pfaden aus zu starten.

Suchpfade starten

In neueren Versionen gibt es auch Schaltflächen zum schnellen Hinzufügen zusätzlicher Startsuche anhand von Adressen durch:

Importieren einer Liste von URLs aus Suchmaschinen.
Importieren einer Liste von URLs aus einer Datei.
Importieren einer Liste von URLs aus der URL einer Website-Seite.
Hinzufügen allgemeiner URLs wie typischer XML-Sitemap-Pfade.

Hinweis: Sie müssen die Schaltfläche [+] verwenden, um der Dropdown-Liste zusätzliche Startscanpfade hinzuzufügen.

Hinweis: Es ist oft besser, sicherzustellen, dass Ihre Website vernetzt ist, damit Crawler alle Seiten selbst finden können.

A1 Website herunterladen | Hilfe | vorherige | nächste

Laden Sie vollständige Websites herunter und nehmen Sie sie mit, um sie in Offline-Medien zu durchsuchen. Kopieren und speichern Sie ganze Websites für Sicherungs-, Archivierungs- und Dokumentationszwecke. Verlieren Sie nie wieder eine Website.

Diese Hilfeseite wird von Thomas Schulz betreut

Als einer der Hauptentwickler haben seine Hände den größten Teil des Codes in der Software von Microsys berührt. Wenn Sie Fragen per E-Mail senden, ist die Wahrscheinlichkeit groß, dass er derjenige ist, der antwortet.