|
|
Crawlen und Indexieren von mehreren Startpfaden und Aliasen
Unser Website-Suchmaschinentool unterstützt das Mischen mehrerer Domains und zusätzliche Start-Scan-Pfade.
Websites mit Domain Mirrors oder mehreren Root-Pfad-URLs
Obwohl dies aufgrund von Problemen mit doppeltem Inhalt normalerweise nicht empfohlen wird, vermischen einige Websites in URLs Domains, Links sowie die Verwendung von www und nicht www. Erstellen Sie in solchen Fällen nach der Konfiguration des zu scannenden Site-Roots, bei dem es sich normalerweise um die primäre Domäne handelt, eine Liste der Root-Aliase.
Hinweis: Sie müssen die Schaltfläche [+] verwenden, um der Dropdown-Liste einen Root-Pfad-Alias hinzuzufügen.
In Website scannen | Mit den Crawler-Optionen können Sie das Website-Suchmaschinentool so konfigurieren, dass automatisch gängige Root-Pfad-Aliase hinzugefügt werden:
Hinweis: Sie müssen die Schaltfläche [+] verwenden, um der Dropdown-Liste einen Root-Pfad-Alias hinzuzufügen.
In Website scannen | Mit den Crawler-Optionen können Sie das Website-Suchmaschinentool so konfigurieren, dass automatisch gängige Root-Pfad-Aliase hinzugefügt werden:
Der Website-Root-Pfad und wie er sich auf das Crawling auswirkt
Wenn Sie http://example.com/blogs/ als Root verwenden, werden alle Pfade außerhalb (mit Ausnahme von Root-Pfad-Aliassen), wie z. B. http://example.com/forum/, weder in die Ausgabe noch in die Analyse einbezogen.
Eine bessere Alternative könnte darin bestehen, den Website-Root als http://example.com/ beizubehalten und anschließend Analysefilter, Ausgabefilter und zusätzliche Startsuchpfade (siehe unten) zu verwenden, um das Crawlen Ihrer Website und die resultierende Ausgabe zu steuern.
Hinweis: In diesem Fall müssen Sie möglicherweise die Option Website scannen | deaktivieren Crawler-Optionen | Korrigieren Sie interne URLs, wenn die Root-URL der Website zu einer anderen Adresse weiterleitet.
Eine bessere Alternative könnte darin bestehen, den Website-Root als http://example.com/ beizubehalten und anschließend Analysefilter, Ausgabefilter und zusätzliche Startsuchpfade (siehe unten) zu verwenden, um das Crawlen Ihrer Website und die resultierende Ausgabe zu steuern.
Hinweis: In diesem Fall müssen Sie möglicherweise die Option Website scannen | deaktivieren Crawler-Optionen | Korrigieren Sie interne URLs, wenn die Root-URL der Website zu einer anderen Adresse weiterleitet.
Scannen Sie Websites über mehrere Startsuchpfade
Websites mit Site- Bereichen, die keine eingehenden Links vom Rest der Website haben, können manchmal ein Problem verursachen.
Denken Sie daran, dass die Querverlinkung versteckter Seiten nicht hilft, wenn keine davon von einer anderen Stelle auf der Website verlinkt ist.
Dieses Problem kann mit unserer Website-Suchmaschinensoftware leicht gelöst werden. Es ist möglich, einen Website-Scan zusätzlich zum Stammverzeichnis des Website-Verzeichnisses von mehreren Pfaden aus zu starten.
In neueren Versionen gibt es auch Schaltflächen zum schnellen Hinzufügen zusätzlicher Startsuche anhand von Adressen durch:
Hinweis: Sie müssen die Schaltfläche [+] verwenden, um der Dropdown-Liste zusätzliche Startscanpfade hinzuzufügen.
Hinweis: Es ist oft besser, sicherzustellen, dass Ihre Website vernetzt ist, damit Crawler alle Seiten selbst finden können.
Denken Sie daran, dass die Querverlinkung versteckter Seiten nicht hilft, wenn keine davon von einer anderen Stelle auf der Website verlinkt ist.
Dieses Problem kann mit unserer Website-Suchmaschinensoftware leicht gelöst werden. Es ist möglich, einen Website-Scan zusätzlich zum Stammverzeichnis des Website-Verzeichnisses von mehreren Pfaden aus zu starten.
In neueren Versionen gibt es auch Schaltflächen zum schnellen Hinzufügen zusätzlicher Startsuche anhand von Adressen durch:
- Importieren einer Liste von URLs aus Suchmaschinen.
- Importieren einer Liste von URLs aus einer Datei.
- Importieren einer Liste von URLs aus der URL einer Website-Seite.
- Hinzufügen allgemeiner URLs wie typischer XML-Sitemap-Pfade.
Hinweis: Sie müssen die Schaltfläche [+] verwenden, um der Dropdown-Liste zusätzliche Startscanpfade hinzuzufügen.
Hinweis: Es ist oft besser, sicherzustellen, dass Ihre Website vernetzt ist, damit Crawler alle Seiten selbst finden können.
