Website Scraper und Joomla-Websites

Wenn Ihre Website mit Joomla erstellt wurde, möglicherweise auch mit einigen Joomla-Plugins, können Sie A1 Website Scraper verwenden.

Hinweis: Wenn Sie auf Probleme stoßen, können Sie oft von der Verwendung der Joomla-Website-CMS- Scanvoreinstellung profitieren, die Sie unter Website scannen | finden Schaltfläche „Schnellvoreinstellungen“, bevor Sie mit dem Website-Crawling beginnen.

Aus den Rückmeldungen von Kunden von A1 Website Scraper und seinen Schwestertools geht hervor, dass einige Joomla-Installationen ein Crawler-Drosselungssystem verwenden. Dies führt beim Crawlen der Joomla-Website zu 403 Access Forbidden.

Hier ist eine Liste der Module und Einstellungen, die in Joomla konfiguriert werden können:

• Sh404SEF-Plugin (für SEO): Anti-Flood-Konfiguration deaktivieren.

Es gibt auch verschiedene Joomla-Plugins, die doppelte URLs erstellen.

• Website scannen | Crawler-Engine: Stellen Sie die maximale Anzahl gleichzeitiger Verbindungen/Threads auf eins ein.
• Website scannen | Crawler-Engine: Stellen Sie die Anzahl der Millisekunden „Crawling-Verzögerung“ zwischen Verbindungen auf 2000 ein.
• Website scannen | Crawler-Einstellungen: Aktivieren Sie Nicht umgeleitete URLs mit und ohne Schrägstrich als „Duplikate“ betrachten.
• Website scannen | Crawler-Einstellungen: Aktivieren Sie Nicht umgeleitete Indexdateinamen als „Duplikate“ betrachten.

Weitere Einstellungen zum Konfigurieren, wenn nach den oben genannten Schritten immer noch Probleme auftreten:

• Allgemeine Optionen und Tools festlegen | Internet-Crawler | User-Agent-ID für Googlebot/2.1 (+http://www.google.com/bot.html).
• Die vollständige Liste der Konfigurationslösungen finden Sie auf unserer Hilfeseite für problematische Websites.

Möglicherweise möchten Sie den Analysefiltern und Ausgabefiltern auch die folgenden Ausschlüsse hinzufügen:

• ::(^|/)itemlist/tag/
• ::(^|/)item/[0-9]+