Website-Download und NetSuite CRM/ERP-Websites

Wenn Ihre Website mit NetSuite betrieben wird, muss A1 Website Download sehr genau konfiguriert werden, um sie erfolgreich zu crawlen.

NetSuite Sites und Website-Download-Programm

Aus dem Feedback von Kunden von A1 Website Download und NetSuite wissen wir, dass man unsere Software sehr sorgfältig konfigurieren muss. Der Grund scheint darin zu liegen, dass mit NetSuite betriebene Websites Bandbreite und Servernutzung für echte Besucher und Suchmaschinen reservieren, dh unbekannte Crawler werden in der Bandbreite gedrosselt.

Während unser Website-Download-Programm viele intelligente Verhaltensweisen zum Crawlen solcher Websites bietet, erfordern NetSuite-Websites, dass Sie die Crawler-Engine ziemlich genau konfigurieren.

Website-Download-Tool-Einstellungen für NetSuite

Entfernen Sie alle Analyse- und Ausgabedateierweiterungsfilter. Verwenden Sie die Schaltfläche [-], bis alle Erweiterungen in beiden gelöscht wurden. Dadurch werden beim Herunterladen unserer Website ausschließlich MIME- Filter verwendet. Dies ist notwendig, da NetSuite verschiedene ungewöhnliche Dateierweiterungen für Weiterleitungen usw. verwendet.
In Website scannen | Die Crawler-Engine hat die maximale Anzahl gleichzeitiger Verbindungen/Threads auf eins festgelegt.
Im Crawler-Motor | Erweiterte Engine-Einstellungen legen GET als Standard für Seitenanfragen fest bzw. aktivieren es.
An diesem Punkt kann man eines von zwei Dingen tun. Versuchen Sie entweder, den Website-Download als Suchmaschinen-Crawler oder als Benutzer, der auf der Website surft, zu maskieren:
- Einstellungen zur Nachahmung von „Benutzer surft auf der Website“:
  - Unter Allgemeine Optionen und Tools | Der Internet-Crawler hat den Benutzeragenten auf Mozilla/4.0 (kompatibel; MSIE 7.0; Win32) eingestellt.
  - In Website scannen | Webmaster-Filter deaktivieren/deaktivieren „Robots.txt“ herunterladen und Datei „robots.txt“ befolgen, falls gefunden.

A1 Website herunterladen | Hilfe | vorherige | nächste

Laden Sie vollständige Websites herunter und nehmen Sie sie mit, um sie in Offline-Medien zu durchsuchen. Kopieren und speichern Sie ganze Websites für Sicherungs-, Archivierungs- und Dokumentationszwecke. Verlieren Sie nie wieder eine Website.

Diese Hilfeseite wird von Thomas Schulz betreut

Als einer der Hauptentwickler haben seine Hände den größten Teil des Codes in der Software von Microsys berührt. Wenn Sie Fragen per E-Mail senden, ist die Wahrscheinlichkeit groß, dass er derjenige ist, der antwortet.