Robotfil: Tillad autoopdagelse af URL'er og sitemaps
Opret nemt robots.txt-filer, der indeholder forbudte instruktioner og referencer til genererede XML-sitemaps til autodiscovery.
Hvis du har til hensigt manuelt at oprette og/eller redigere
robots.txt- filer, kan du se et komplet eksempel her med
disallow of URL'er og
XML Sitemaps Autodiscovery.
Brugeragent: * Disallow: /home/feedback.php Disallow: /home/link-us.php? Disallow: /home/social-bookmark.php?
Sitemap: http://www.example.com/sitemap.xml Sitemap: http://www.example.com/sitemap-blog.xml |
Se nedenfor for mere information.
Hvis du vil have vores sitemapbygger til at oprette din
robots.txt- fil, skal du læse hjælpen om konfiguration af
output- og
analysefiltre.
Bemærk: Det er kun
standardstifiltre, der tilføjes til
robots.txt- filen, dvs. filtre, der starter med et enkelt
: kolon.
Fra sitemapgeneratorværktøjstip:
Tekststreng matcher: "mypics". Sti i forhold til rod: ":mypics/", kun understier: ":mypics/*", regex-søgning: "::mypics[0-9]*/"
I 2007 blev det muligt indirekte at
indsende XML-sitemaps til søgemaskiner ved at angive dem i
robots.txt -filen. Dette koncept kaldes XML sitemaps autodiscovery, og det er en del af XML sitemaps protokollen. For at tilføje XML-sitemaps autodiscovery til en
robots.txt- fil, skal du tilføje den fuldt kvalificerede XML-sitemap-filsti som denne:
Sitemap: http://www.example.com/sitemap.xml.
Nedenfor har vi angivet nogle komplette eksempler, der bruger XML-sitemaps autodiscovery i
robots.txt- fil:
Hvis du har oprettet flere XML-sitemapfiler, der dækker forskellige dele af dit websted:
Brugeragent: *
Sitemap: http://www.example.com/sitemap.xml Sitemap: http://www.example.com/sitemap-1.xml |
Eller se i stedet for
XML-sitemap-indeksfilen, der
linker alle XML-sitemapfiler:
Brugeragent: *
Sitemap: http://www.example.com/sitemap-index.xml |
Nogle webadresser for mere information om robots tekstfil:
Sitemapgenerator kan oprette
robots.txt- filer.
Genererede robots.txt-filer er klar til at blive uploadet og brugt af søgemaskiner.
I starten, og i lang tid derefter, var det ikke muligt at indsende sitemaps til hjemmesider, medmindre sitemaps var hostet og placeret på samme domæne som hjemmesiderne.
Men nu inkluderer nogle søgemaskiner understøttelse af en anden måde at administrere sitemaps på på tværs af flere websteder og domæner. Kravet er, at du skal verificere ejerskab af alle hjemmesider i
Google Search Console eller lignende afhængigt af søgemaskinen.
For at lære mere se:
- Sitemaps-protokol : Cross-sitemaps indsendes og administreres ved hjælp af robots.txt.
- Google : Flere webstedsbekræftelsesmetoder end sitemaps-protokollen definerer.