|
|
Robots-Datei: URLs und Sitemaps-Autodiscovery nicht zulassen
Erstellen Sie ganz einfach robots.txt-Dateien, die Verbotsanweisungen und Verweise auf generierte XML-Sitemaps für die automatische Erkennung enthalten.
Einführung in die Robots.txt-Datei
Seit den Anfängen des Internets und der Suchmaschinen konnten Websitebesitzer und ihre Webmaster mithilfe der robots.txt- Datei Suchmaschinen-Crawlern wie GoogleBot mitteilen, welche Seiten und Inhalte ignoriert und aus den Suchergebnissen ausgeschlossen werden sollten.
Dies war viele Jahre lang der Fall, bis Google das Google Sitemaps / XML Sitemaps Protocol erstellte.
Die neue Funktionalität hieß Sitemaps Autodiscovery und enthielt zusätzliche Anweisungen für die robots.txt- Datei, die es ermöglichten, Suchmaschinen auf Ihre XML-Sitemaps zu verweisen. Dies ermöglicht es Suchmaschinen, alle Ihre XML-Sitemap-Dateien einfacher zu finden.
Dies war viele Jahre lang der Fall, bis Google das Google Sitemaps / XML Sitemaps Protocol erstellte.
Die neue Funktionalität hieß Sitemaps Autodiscovery und enthielt zusätzliche Anweisungen für die robots.txt- Datei, die es ermöglichten, Suchmaschinen auf Ihre XML-Sitemaps zu verweisen. Dies ermöglicht es Suchmaschinen, alle Ihre XML-Sitemap-Dateien einfacher zu finden.
Vollständiges Robots.txt-Dateibeispiel
Wenn Sie beabsichtigen, robots.txt- Dateien manuell zu erstellen und/oder zu bearbeiten, können Sie hier ein vollständiges Beispiel mit der Nichtzulassung von URLs und XML-Sitemaps Autodiscovery sehen.
Weitere Informationen finden Sie weiter unten.
| User-Agent: * Nicht zulassen: /home/feedback.php Nicht zulassen: /home/link-us.php? Nicht zulassen: /home/social-bookmark.php? Sitemap: http://www.example.com/sitemap.xml Sitemap: http://www.example.com/sitemap-blog.xml |
Weitere Informationen finden Sie weiter unten.
Roboter verbieten URLs mit den Sitemapper-Filtern „Liste“ und „Analyse“.
Wenn Sie möchten, dass unser Sitemap-Builder Ihre robots.txt- Datei erstellt, müssen Sie die Hilfe zum Konfigurieren von Ausgabe- und Analysefiltern lesen.
Hinweis: Der robots.txt- Datei werden nur Standardpfadfilter hinzugefügt, d. h. Filter, die mit einem einzelnen Doppelpunkt beginnen.
Aus dem Tooltipp zum Sitemap-Generator:
Hinweis: Der robots.txt- Datei werden nur Standardpfadfilter hinzugefügt, d. h. Filter, die mit einem einzelnen Doppelpunkt beginnen.
Aus dem Tooltipp zum Sitemap-Generator:
Übereinstimmungen mit der Textzeichenfolge: „mypics“. Pfad relativ zum Stamm: „:mypics/“, nur Unterpfade: „:mypics/*“, Regex-Suche: „::mypics[0-9]*/“
Automatische Erkennung von Robots-Textdateien und XML-Sitemaps
Im Jahr 2007 wurde es möglich, XML-Sitemaps indirekt an Suchmaschinen zu übermitteln, indem man sie in der robots.txt- Datei auflistet. Dieses Konzept wird als XML-Sitemaps-Autodiscovery bezeichnet und ist Teil des XML-Sitemaps-Protokolls. Um die automatische Erkennung von XML-Sitemaps zu einer robots.txt- Datei hinzuzufügen, fügen Sie den vollständig qualifizierten XML-Sitemap-Dateipfad wie folgt hinzu: Sitemap: http://www.example.com/sitemap.xml.
Nachfolgend haben wir einige vollständige Beispiele für die Verwendung der automatischen XML-Sitemaps-Erkennung in der robots.txt- Datei aufgelistet:
Wenn Sie mehrere XML-Sitemap-Dateien erstellt haben, die verschiedene Teile Ihrer Website abdecken:
Oder beziehen Sie sich stattdessen auf die XML-Sitemap-Indexdatei, die alle XML-Sitemap-Dateien verknüpft:
Einige URLs für weitere Informationen zur Robots-Textdatei:
Nachfolgend haben wir einige vollständige Beispiele für die Verwendung der automatischen XML-Sitemaps-Erkennung in der robots.txt- Datei aufgelistet:
Wenn Sie mehrere XML-Sitemap-Dateien erstellt haben, die verschiedene Teile Ihrer Website abdecken:
| User-Agent: * Sitemap: http://www.example.com/sitemap.xml Sitemap: http://www.example.com/sitemap-1.xml |
Oder beziehen Sie sich stattdessen auf die XML-Sitemap-Indexdatei, die alle XML-Sitemap-Dateien verknüpft:
| User-Agent: * Sitemap: http://www.example.com/sitemap-index.xml |
Einige URLs für weitere Informationen zur Robots-Textdatei:
- Offizielle Sitemaps-Dokumentation zu Robots-Datei und Autodiscovery.
Erstellen Sie eine Robots-Textdatei mit dem Sitemap-Generator
Der Sitemap-Generator kann robots.txt- Dateien erstellen.
Die generierten robots.txt-Dateien können hochgeladen und von Suchmaschinen verwendet werden.
Die generierten robots.txt-Dateien können hochgeladen und von Suchmaschinen verwendet werden.
Robots-Datei- und Cross-Submit-Sitemaps für mehrere Websites
Zu Beginn und noch lange danach war es nicht möglich, Sitemaps für Websites einzureichen, es sei denn, die Sitemaps wurden gehostet und befanden sich auf derselben Domain wie die Websites.
Mittlerweile bieten einige Suchmaschinen jedoch Unterstützung für eine andere Möglichkeit, Sitemaps über mehrere Websites und Domains hinweg zu verwalten. Voraussetzung ist, dass Sie je nach Suchmaschine die Inhaberschaft aller Websites in der Google Search Console oder ähnlichem verifizieren müssen.
Weitere Informationen finden Sie unter:
Mittlerweile bieten einige Suchmaschinen jedoch Unterstützung für eine andere Möglichkeit, Sitemaps über mehrere Websites und Domains hinweg zu verwalten. Voraussetzung ist, dass Sie je nach Suchmaschine die Inhaberschaft aller Websites in der Google Search Console oder ähnlichem verifizieren müssen.
Weitere Informationen finden Sie unter:
- Sitemaps-Protokoll: Cross-Sitemaps übermitteln und verwalten mit robots.txt.
- Google: Mehr Website-Überprüfungsmethoden als im Sitemaps-Protokoll definiert.
