|
|
Website Scraper og NetSuite CRM/ERP-websteder
Hvis din hjemmeside er drevet af NetSuite, skal A1 Website Scraper konfigureres ret præcist for at crawle den.
NetSuite Sites og Website Scraper Program
Fra feedback modtaget af kunder hos A1 Website Scraper og NetSuite ved vi, at man skal konfigurere vores software ganske omhyggeligt. Årsagen ser ud til at være, at NetSuite-drevne websteder reserverer båndbredde og serverbrug til rigtige besøgende og søgemaskiner, dvs. ukendte crawlere er båndbreddebegrænset.
Mens vores webstedsskraberprogram har masser af intelligent adfærd til at crawle sådanne websteder, kræver NetSuite-websteder, at du konfigurerer crawlermotoren ret præcist.
Mens vores webstedsskraberprogram har masser af intelligent adfærd til at crawle sådanne websteder, kræver NetSuite-websteder, at du konfigurerer crawlermotoren ret præcist.
Indstillinger for webstedsskraberværktøj til NetSuite
- Fjern alle analyse- og outputfiludvidelsesfiltre. Brug knappen [-], indtil alle udvidelser i begge er blevet slettet. Dette vil få vores hjemmesideskraber til kun at bruge MIME- filtre. Dette er nødvendigt, da NetSuite bruger forskellige ualmindelige filtypenavne til omdirigeringer osv.
- In Scan hjemmeside | Crawler-motor indstillet maks. samtidige forbindelser/tråde til én.
- I Crawler-motor | Avancerede motorindstillinger indstiller/aktiverer GET som standard for sideanmodninger.
- På dette tidspunkt kan man gøre en af to ting. Forsøg enten at maskere webstedsskraberen som en søgemaskinecrawler eller som en bruger, der surfer på webstedet:
- Indstillinger for at efterligne "bruger-surfing-websted":
- Generelt muligheder og værktøjer | Internet-crawler indstillede brugeragent til Mozilla/4.0 (kompatibel; MSIE 7.0; Win32).
- In Scan hjemmeside | Webmasterfiltre deaktiverer/fjerner markeringen Download "robots.txt" og Adlyd "robots.txt"-filen, hvis den findes.
- Indstillinger for at efterligne "bruger-surfing-websted":
