Microsys
  

Robots-Datei: URLs und Sitemaps-Autodiscovery nicht zulassen

Erstellen Sie ganz einfach robots.txt-Dateien, die Verbotsanweisungen und Verweise auf generierte XML-Sitemaps für die automatische Erkennung enthalten.

Einführung in die Robots.txt-Datei

Seit den Anfängen des Internets und der Suchmaschinen konnten Websitebesitzer und ihre Webmaster mithilfe der robots.txt- Datei Suchmaschinen-Crawlern wie GoogleBot mitteilen, welche Seiten und Inhalte ignoriert und aus den Suchergebnissen ausgeschlossen werden sollten.

Dies war viele Jahre lang der Fall, bis Google das Google Sitemaps / XML Sitemaps Protocol erstellte.

Die neue Funktionalität hieß Sitemaps Autodiscovery und enthielt zusätzliche Anweisungen für die robots.txt- Datei, die es ermöglichten, Suchmaschinen auf Ihre XML-Sitemaps zu verweisen. Dies ermöglicht es Suchmaschinen, alle Ihre XML-Sitemap-Dateien einfacher zu finden.


Vollständiges Robots.txt-Dateibeispiel

Wenn Sie beabsichtigen, robots.txt- Dateien manuell zu erstellen und/oder zu bearbeiten, können Sie hier ein vollständiges Beispiel mit der Nichtzulassung von URLs und XML-Sitemaps Autodiscovery sehen.

User-Agent: *
Nicht zulassen: /home/feedback.php
Nicht zulassen: /home/link-us.php?
Nicht zulassen: /home/social-bookmark.php?

Sitemap: http://www.example.com/sitemap.xml
Sitemap: http://www.example.com/sitemap-blog.xml

Weitere Informationen finden Sie weiter unten.


Roboter verbieten URLs mit den Sitemapper-Filtern „Liste“ und „Analyse“.

Wenn Sie möchten, dass unser Sitemap-Builder Ihre robots.txt- Datei erstellt, müssen Sie die Hilfe zum Konfigurieren von Ausgabe- und Analysefiltern lesen.

Hinweis: Der robots.txt- Datei werden nur Standardpfadfilter hinzugefügt, d. h. Filter, die mit einem einzelnen Doppelpunkt beginnen.

Pfadfilter ausschließen

Aus dem Tooltipp zum Sitemap-Generator:
Übereinstimmungen mit der Textzeichenfolge: „mypics“. Pfad relativ zum Stamm: „:mypics/“, nur Unterpfade: „:mypics/*“, Regex-Suche: „::mypics[0-9]*/“


Automatische Erkennung von Robots-Textdateien und XML-Sitemaps

Im Jahr 2007 wurde es möglich, XML-Sitemaps indirekt an Suchmaschinen zu übermitteln, indem man sie in der robots.txt- Datei auflistet. Dieses Konzept wird als XML-Sitemaps-Autodiscovery bezeichnet und ist Teil des XML-Sitemaps-Protokolls. Um die automatische Erkennung von XML-Sitemaps zu einer robots.txt- Datei hinzuzufügen, fügen Sie den vollständig qualifizierten XML-Sitemap-Dateipfad wie folgt hinzu: Sitemap: http://www.example.com/sitemap.xml.

Nachfolgend haben wir einige vollständige Beispiele für die Verwendung der automatischen XML-Sitemaps-Erkennung in der robots.txt- Datei aufgelistet:

Wenn Sie mehrere XML-Sitemap-Dateien erstellt haben, die verschiedene Teile Ihrer Website abdecken:

User-Agent: *

Sitemap: http://www.example.com/sitemap.xml
Sitemap: http://www.example.com/sitemap-1.xml

Oder beziehen Sie sich stattdessen auf die XML-Sitemap-Indexdatei, die alle XML-Sitemap-Dateien verknüpft:

User-Agent: *

Sitemap: http://www.example.com/sitemap-index.xml

Einige URLs für weitere Informationen zur Robots-Textdatei:


Erstellen Sie eine Robots-Textdatei mit dem Sitemap-Generator

Der Sitemap-Generator kann robots.txt- Dateien erstellen.

Option „Robots-Textdatei verbietet URLs“.

Die generierten robots.txt-Dateien können hochgeladen und von Suchmaschinen verwendet werden.

Sitemap-Generator-Robots-Datei


Robots-Datei- und Cross-Submit-Sitemaps für mehrere Websites

Zu Beginn und noch lange danach war es nicht möglich, Sitemaps für Websites einzureichen, es sei denn, die Sitemaps wurden gehostet und befanden sich auf derselben Domain wie die Websites.

Mittlerweile bieten einige Suchmaschinen jedoch Unterstützung für eine andere Möglichkeit, Sitemaps über mehrere Websites und Domains hinweg zu verwalten. Voraussetzung ist, dass Sie je nach Suchmaschine die Inhaberschaft aller Websites in der Google Search Console oder ähnlichem verifizieren müssen.

Weitere Informationen finden Sie unter:
  • Sitemaps-Protokoll: Cross-Sitemaps übermitteln und verwalten mit robots.txt.
  • Google: Mehr Website-Überprüfungsmethoden als im Sitemaps-Protokoll definiert.
TechSEO360
TechSEO360 | Hilfe | vorherige | nächste
SEO-Website-Crawler-Tool, das defekte Links findet, den Saftfluss interner Links analysiert, doppelte Titel anzeigt, eine benutzerdefinierte Code-/Textsuche durchführt und vieles mehr.
Diese Hilfeseite wird von betreut
Als einer der Hauptentwickler haben seine Hände den größten Teil des Codes in der Software von Microsys berührt. Wenn Sie Fragen per E-Mail senden, ist die Wahrscheinlichkeit groß, dass er derjenige ist, der antwortet.
Teile diese Seite mit Freunden   LinkedIn   Twitter   Facebook   Pinterest   YouTube  
 © Copyright 1997-2024 Microsys

 Mit der Nutzung dieser Website erklären Sie sich mit unseren Rechtlichen, Datenschutzrichtlinien und Cookie Informationen einverstanden.