Schließen Sie URLs beim Erstellen von XML-Sitemaps aus

Normalerweise erfolgt die Filterung von URLs durch den Site-Crawler während des Website-Scans, z. B. durch Ausgabefilter, Filterung von Sitzungs-IDs in URLs und der robots.txt-Datei, nofollow und noindex.

Abhängig von der Programmkonfiguration werden nicht alle in der Website- Baumansicht angezeigten URLs in generierte Sitemaps einbezogen.

Sie können steuern, ob ausschlussbezogene Filter nach Abschluss eines Website-Scans oder beim Erstellen von Sitemaps aktiviert werden:

• Ältere Versionen:
  • Website scannen | Crawler-Optionen | Wenden Sie die Filter „Webmaster“ und „Ausgabe“ an, nachdem der Website-Scan beendet wurde
• Neuere Versionen:
  • Website scannen | Ausgabefilter | Nachdem der Website-Scan beendet wurde: Ausgeschlossene URLs entfernen
  • Website scannen | Webmaster-Filter | Nachdem der Website-Scan beendet wurde: URLs mit noindex/disallow entfernen
• Und dann:
  • Aktivieren Sie Sitemap erstellen | Dokumentoptionen | Entfernen Sie URLs, die von den Filtern „Webmaster“ und „Ausgabe“ ausgeschlossen wurden

Hinweis: Sie können auch Statusflags von URLs bearbeiten, z. B. „Nicht ausgeben, nachdem ein Website-Crawling abgeschlossen ist“:

Zusätzlich zur allgemeinen Filterung können Sie auch URLs ausschließen, wenn Sie Sitemap-Dateien (einschließlich HTML-Sitemaps und XML-Sitemaps) basierend auf HTTP-Antwortcodes erstellen.

Im Allgemeinen werden bei Verwendung der Standardkonfiguration beim Erstellen von Sitemaps nur URLs mit einem gültigen Antwortcode einbezogen. Bei der Erstellung von HTML-Sitemaps gibt es einige spezifische Ausnahmen, ansonsten werden jedoch alle unerwünschten URLs weggelassen.

Beispiel: URLs, die beispielsweise mit der Antwort 301: Permanent verschoben weiterleiten, werden beim Erstellen von XML-Sitemaps nicht berücksichtigt.

Welche Antwortcodes der Sitemap-Builder akzeptiert, kann in der Option Sitemap erstellen | festgelegt werden Dokumentoptionen.