Crawlen von Foren und Blogs mit Website-Download

Foren und Blogs unterscheiden sich nicht von anderen Websites. In seltenen Fällen müssen Sie den Website-Download auf besondere Weise konfigurieren. Hier ist jedoch eine Liste gängiger Themen für große und/oder Datenbank-Websites:

• Wie einige Website-Plattformen Crawling-Probleme verursachen.
• Nutzen Sie die Lebenslauf-Scan- Unterstützung in unserem Website-Download-Tool.
  • Beachten Sie, dass Sie den Lebenslauf verbessern können, indem Sie Folgendes deaktivieren:
    • Ältere Versionen:
      • Website scannen | Crawler-Optionen | Wenden Sie die Filter „Webmaster“ und „Ausgabe“ an, nachdem der Website-Scan beendet wurde
    • Neuere Versionen:
      • Website scannen | Ausgabefilter | Nachdem der Website-Scan beendet wurde: Ausgeschlossene URLs entfernen
      • Website scannen | Webmaster-Filter | Nachdem der Website-Scan beendet wurde: URLs mit noindex/disallow entfernen
• Informationen zum Crawlen und Finden von Links auf Websites.
• Anpassen der Serverlast und der Website-Crawling-Geschwindigkeit.
• Einschließlich Inhalte, die ansonsten nur für Abonnenten verfügbar sind, die passwortgeschützte Seiten nutzen.
• Verwenden Sie Ausgabefilter, um bestimmte URLs von der enthaltenen Website-Scan-Ausgabe auszuschließen.
• Verwenden Sie Analysefilter, um zu verhindern, dass bestimmte URLs gecrawlt/analysiert werden.

Die folgenden Einstellungen dienen Demonstrationszwecken. Höchstwahrscheinlich müssen Sie diese Optionen nie konfigurieren. Sollten Sie Einstellungen konfigurieren müssen, nehmen Sie sich die Zeit, die oben genannten Links und Ihre Anforderungen zu untersuchen. Dann schauen Sie sich vielleicht unten um, um sich inspirieren zu lassen. Denken Sie daran, dass nur wenige Blogs und Foren genau gleich sind.

Hinweis: Möglicherweise sind in der Scan-Website bereits Schnellvoreinstellungen verfügbar, die Ihrer Website-Plattform und Ihren Crawling-Anforderungen entsprechen.

Hinweis: Wenn Sie Zweifel haben, welcher Anmeldepfad und welche Post-Formulardaten übereinstimmen, sehen Sie sich die Hilfeseite zu passwortgeschützten Seiten und zur Anmeldung an.

Liste der Beispiele:

• phpbb
  • Login konfigurieren
    • Anmeldepfad: http://forum.example.com/login.php
    • Formulardaten posten: Benutzername=IhrBenutzername&Passwort=IhrPasswort&redirect=index.php?&login=Anmelden
  • Konfigurieren Sie Crawler-/Analyse- und Ausgabe-/Listen-Ausschlussfilter
    • Notwendig
      • :login.php?logout
    • Empfohlen
      • :profile.php
      • :login.php
      • :newreply.php
      • :printthread.php
      • :sendmessage.php
      • :search.php
      • :threadrate.php
  
  
  
• vBulletin
  • Login konfigurieren
    • Anmeldepfad: http://forum.example.com/login.php?do=login
    • Formulardaten posten: vb_login_username=IhrBenutzername&vb_login_password=IhrPasswort&cookieuser=1&s=&do=login&vb_login_md5password=&vb_login_md5password_utf=
  • Konfigurieren Sie Crawler-/Analyse- und Ausgabe-/Listen-Ausschlussfilter
    • Notwendig
      • :login.php?logout
    • Empfohlen
      • :profile.php
      • :login.php
  
  
  
• WordPress
  • Login konfigurieren
    
    • Anmeldepfad: http://blog.example.com/wp-login.php
    • Formulardaten posten : log=IhrBenutzername&pwd=IhrPasswort&rememberme=forever&wp-submit=Log+ind&redirect_to=wp-admin%2F&testcookie=1
  • Konfigurieren Sie Crawler-/Analyse- und Ausgabe-/Listen-Ausschlussfilter
    • Notwendig
      • :wp-admin/
      • :wp-login.php?action=logout
    • Empfohlen
      • :wp-login.php
    • Notiz
      • Wenn Sie den Bereich „Administrator“ nicht mithilfe von Filtern ausschließen, versuchen Sie, die Linktypen Bearbeiten, Posten, Löschen, Papierkorb, Abmelden und verwandte Links zu vermeiden.