Microsys
  

Analysefiltre til webstedsskraber i webstedsscanning

Analysefiltre til webstedsscanning (også kendt som crawlerfiltre) hjælper dig med at definere, hvilke sider du ønsker analyseret for indhold og links under webstedsscanninger i vores webstedsskraber.

Bemærk: Vi har en video tutorial:



Selvom videodemonstrationen bruger TechSEO360, er noget af det også anvendeligt for brugere af A1 Website Scraper.



Website Scraper Oversigt over filtre for webstedsanalyse

Analysefiltre bestemmer, hvilke sider der får deres indhold analyseret for links og andre data. Du kan bruge analysefiltre i stedet for eller sammen med webmasterfiltre ( robots.txt, noindex, nofollow osv.) og outputfiltre.

  • Ekskluder URL'er i både analysefiltre og outputfiltre for at minimere gennemgangstid, HTTP-anmodninger og hukommelsesbrug.

  • Bemærk: Hvis en URL kun linkes fra sider, der ikke er analyseret på grund af filtre, vil den ikke blive fundet under scanningen af hjemmesiden.

  • Bemærk: For at ændringer i analysefiltre skal træde i kraft, skal du crawle dit websted igen.


Begræns interne URL'er til dem i disse mapper

  • Links, som crawleren støder på, er normalt grupperet i kategorier internt og eksternt.
  • Med denne mulighed kan du bestemme, hvilke sider der hører til i den interne kategori.


Analyser filer med filtypenavn

URL'er med filtypenavne, der ikke findes på listen, vil ikke blive analyseret under scanning af webstedet.
Hvis du fjerner alle filtypenavne på listen, accepterer filtypenavnslistefiltreringen alle filer.

Webstedscrawlerlisteudvidelser


Analyser ikke URL'er, der matcher stier/strenge/regex

At ekskludere webadresser, der helt eller delvist matcher en tekststreng, sti eller regulært udtryksmønster fra at blive analyseret, er ofte en god måde at begrænse gennemgangen på.

Webstedscrawler-listekategorier

  • Strenge:
    • blogs matcher relative stier, der indeholder " blogs ".
    • @ matcher relative stier, der indeholder " @ ".
    • ? matcher relative stier, der indeholder " ? ".
  • Stier:
    • : s matcher relative stier, der starter med " s " såsom http://www.microsystools.com/services/ og http://www.microsystools.com/shop/.
    • : blogs/ matcher relative stier, der starter med " blogs/ ", såsom http://www.microsystools.com/ blogs/.
  • Understier:
    • : blogs/ * matcher relative stier , der ekskluderer sig selv, der starter med " blogs/ ", såsom http://www.microsystools.com/ blogs/sitemap-generator/.
  • Regulært udtryk :
    • :: blog (s?) / matcher relative stier med regex såsom http://www.microsystools.com/ blogs/ og http://www.microsystools.com/ blog/.
    • :: blogs/ (2007|2008) / matcher relative stier med regex såsom http://www.microsystools.com/blogs/ 2007/ og http://www.microsystools.com/blogs/ 2008/.
    • :: blogs/ .*? søgeord matcher relative stier med regex såsom http://www.microsystools.com/blogs/categorie/products/a1- keyword-research/.
    • :: ^$ matcher den tomme relative sti (dvs. roden) med regex såsom http://www.microsystools.com/.

Fra ovenstående eksempler kan det ses, at:
  • : alene = speciel kamp.
  • : ved start = stier matcher.
  • : ved start og * ved slutning = får stier til understier til at matche.
  • :: ved start = match med regulære udtryk.
  • Ingen af ovenstående, normal strengtekst matcher.

Sådan tilføjer du listefilterelement i rullemenuen: Indtast det og brug knappen [+].
Sådan fjernes listefilterelementet i rullemenuen: Vælg det, og brug knappen [-].
Du kan se flere oplysninger om de anvendte brugergrænsefladekontroller


Tilføj URL'er til analysefiltre på den nemme måde

Hvis du ikke har brug for nogen af de avancerede muligheder for analysefiltre, kan du bruge knappen Slet og filtrer, når du er færdig med at crawle et websted. Dette gør det nemt at optimere indstillinger og begrænse mængden af analyserede sider til næste gang, du skal crawle hjemmesiden.

Webstedscrawler-listekategorier
A1 Website Scraper
A1 Website Scraper | hjælp | forrige | Næste
Udtræk data fra websteder til CSV-filer. Ved at skrabe hjemmesider kan du få fat i data på hjemmesider og omdanne dem til CSV-filer, der er klar til at blive importeret overalt, f.eks. SQL-databaser
Denne hjælpeside vedligeholdes af
Som en af de ledende udviklere har hans hænder rørt det meste af koden i softwaren fra Microsys. Hvis du e-mailer spørgsmål, er chancerne for, at han vil være den, der svarer.
Del denne side med dine venner   LinkedIn   Twitter   Facebook   Pinterest   YouTube  
 © Copyright 1997-2024 Microsys

 Brug af denne side inkluderer accept af vores juridisk, privatliv og cookie information.

Se vores prisrobot indenfor emner: Maling | Stiger | Vinduespudsning | Robotstøvsuger | Støvsuger | Maskiner | Køkken | Bad | Computer | Printer | Mobil