Website Scraper og Joomla Websites

Sådan opretter du sitemaps til Joomla-websteder ved hjælp af vores sitemap-generator

Joomla hjemmesider

Hvis din hjemmeside er bygget ved hjælp af Joomla, muligvis også med nogle Joomla plugins, kan du bruge A1 Website Scraper.

Bemærk: Hvis du støder på problemer, kan du ofte drage fordel af at bruge Joomla-webstedets CMS- scanningsforudindstilling, som findes på Scan websted | Hurtige forudindstillinger -knap, før du starter webstedscrawlet.

Joomla Website Scraper Fejlfinding

Fra feedback modtaget af kunder af A1 Website Scraper og dets søskendeværktøjer, ser det ud til, at nogle Joomla-installationer bruger et crawler-drosselsystem. Dette giver 403 Adgang Forbudt, når du crawler Joomla-webstedet.

Her er en liste over moduler og indstillinger, der skal konfigureres i Joomla:

Sh404SEF-plugin (til SEO): Deaktiver anti-flood-konfiguration.

Der er også forskellige Joomla plugins, der skaber duplikerede URL'er.

Website Scraper Programindstillinger for Joomla

Scan hjemmeside | Crawler-motor : Indstil maks. samtidige forbindelser/tråde til én.
Scan hjemmeside | Crawlermotor : Indstil antallet af millisekunder "crawlforsinkelse" mellem forbindelser til 2000.
Scan hjemmeside | Webcrawlerindstillinger : Marker Betragt ikke-omdirigerede URL'er med skråstreg og ikke-skråstreg som "duplikater".
Scan hjemmeside | Crawler-indstillinger : Marker Betragt ikke-omdirigerede indeksfilnavne som "duplikater".

Flere indstillinger at konfigurere, hvis du stadig har problemer efter at have gjort ovenstående:

Indstil generelle indstillinger og værktøjer | Internet-crawler | Brugeragent-id til Googlebot/2.1 (+http://www.google.com/bot.html).
Se hele listen over konfigurationsløsninger på vores hjælpeside for problematiske websteder.

Du vil måske også tilføje følgende undtagelser til analysefiltre og outputfiltre :

::(^|/)itemlist/tag/
::(^|/)item/[0-9]+

A1 Website Scraper | hjælp | forrige | Næste

Udtræk data fra websteder til CSV-filer. Ved at skrabe hjemmesider kan du få fat i data på hjemmesider og omdanne dem til CSV-filer, der er klar til at blive importeret overalt, f.eks. SQL-databaser

Denne hjælpeside vedligeholdes af Thomas Schulz

Som en af de ledende udviklere har hans hænder rørt det meste af koden i softwaren fra Microsys. Hvis du e-mailer spørgsmål, er chancerne for, at han vil være den, der svarer.