|
|
Robotfil: Tillad autoopdagelse af URL'er og sitemaps
Opret nemt robots.txt-filer, der indeholder forbudte instruktioner og referencer til genererede XML-sitemaps til autodiscovery.
Robots.txt-filintroduktion
Lige siden begyndelsen af internettet og søgemaskinerne har robots.txt- filen været, hvordan webstedsejere og deres webmastere kunne fortælle søgemaskinecrawlere som GoogleBot, hvilke sider og indhold der skal ignoreres og udelades af søgeresultaterne.
Dette var situationen i mange år, indtil Google oprettede Google Sitemaps / XML Sitemaps Protocol.
Den nye funktionalitet blev kaldt Sitemaps Autodiscovery og inkluderede yderligere instruktioner til robots.txt- filen, der gjorde det muligt at pege søgemaskiner til dine XML-sitemaps. Dette gjorde det muligt for søgemaskiner at nemmere opdage alle dine XML sitemap-filer.
Dette var situationen i mange år, indtil Google oprettede Google Sitemaps / XML Sitemaps Protocol.
Den nye funktionalitet blev kaldt Sitemaps Autodiscovery og inkluderede yderligere instruktioner til robots.txt- filen, der gjorde det muligt at pege søgemaskiner til dine XML-sitemaps. Dette gjorde det muligt for søgemaskiner at nemmere opdage alle dine XML sitemap-filer.
Komplet Robots.txt-fileksempel
Hvis du har til hensigt manuelt at oprette og/eller redigere robots.txt- filer, kan du se et komplet eksempel her med disallow of URL'er og XML Sitemaps Autodiscovery.
Se nedenfor for mere information.
| Brugeragent: * Disallow: /home/feedback.php Disallow: /home/link-us.php? Disallow: /home/social-bookmark.php? Sitemap: http://www.example.com/sitemap.xml Sitemap: http://www.example.com/sitemap-blog.xml |
Se nedenfor for mere information.
Robotter tillader ikke URL'er med "Liste" og "Analyse"-filtre for sitemapper
Hvis du vil have vores sitemapbygger til at oprette din robots.txt- fil, skal du læse hjælpen om konfiguration af output- og analysefiltre.
Bemærk: Det er kun standardstifiltre, der tilføjes til robots.txt- filen, dvs. filtre, der starter med et enkelt : kolon.
Fra sitemapgeneratorværktøjstip:
Bemærk: Det er kun standardstifiltre, der tilføjes til robots.txt- filen, dvs. filtre, der starter med et enkelt : kolon.
Fra sitemapgeneratorværktøjstip:
Tekststreng matcher: "mypics". Sti i forhold til rod: ":mypics/", kun understier: ":mypics/*", regex-søgning: "::mypics[0-9]*/"
Robots Tekstfil og XML Sitemaps Autodiscovery
I 2007 blev det muligt indirekte at indsende XML-sitemaps til søgemaskiner ved at angive dem i robots.txt -filen. Dette koncept kaldes XML sitemaps autodiscovery, og det er en del af XML sitemaps protokollen. For at tilføje XML-sitemaps autodiscovery til en robots.txt- fil skal du tilføje den fuldt kvalificerede XML-sitemap-filsti som denne: Sitemap: http://www.example.com/sitemap.xml.
Nedenfor har vi angivet nogle komplette eksempler, der bruger XML-sitemaps autodiscovery i robots.txt- fil:
Hvis du har oprettet flere XML-sitemapfiler, der dækker forskellige dele af dit websted:
Eller se i stedet for XML-sitemap-indeksfilen, der linker alle XML-sitemapfiler:
Nogle webadresser for mere information om robots tekstfil:
Nedenfor har vi angivet nogle komplette eksempler, der bruger XML-sitemaps autodiscovery i robots.txt- fil:
Hvis du har oprettet flere XML-sitemapfiler, der dækker forskellige dele af dit websted:
| Brugeragent: * Sitemap: http://www.example.com/sitemap.xml Sitemap: http://www.example.com/sitemap-1.xml |
Eller se i stedet for XML-sitemap-indeksfilen, der linker alle XML-sitemapfiler:
| Brugeragent: * Sitemap: http://www.example.com/sitemap-index.xml |
Nogle webadresser for mere information om robots tekstfil:
- Officiel sitemap-dokumentation om robotfiler og autodiscovery.
Opret Robots Text File med Sitemap Generator
Sitemapgenerator kan oprette robots.txt- filer.
Genererede robots.txt-filer er klar til at blive uploadet og brugt af søgemaskiner.
Genererede robots.txt-filer er klar til at blive uploadet og brugt af søgemaskiner.
Robots File and Cross Send sitemaps til flere websteder
I begyndelsen, og i lang tid derefter, var det ikke muligt at indsende sitemaps til hjemmesider, medmindre sitemaps var hostet og placeret på samme domæne som hjemmesiderne.
Men nu inkluderer nogle søgemaskiner understøttelse af en anden måde at administrere sitemaps på på tværs af flere websteder og domæner. Kravet er, at du skal verificere ejerskab af alle hjemmesider i Google Search Console eller lignende afhængigt af søgemaskinen.
For at lære mere se:
Men nu inkluderer nogle søgemaskiner understøttelse af en anden måde at administrere sitemaps på på tværs af flere websteder og domæner. Kravet er, at du skal verificere ejerskab af alle hjemmesider i Google Search Console eller lignende afhængigt af søgemaskinen.
For at lære mere se:
- Sitemaps-protokol : Cross-sitemaps indsendes og administreres ved hjælp af robots.txt.
- Google : Flere webstedsbekræftelsesmetoder end sitemaps-protokollen definerer.
