Gennemgang af fora og blogs med webstedsskraber

Gennemgang af blogs og fora såsom SMF, VBulletin etc. kan nogle gange tage lang tid. Korrekt konfiguration af vores webstedsskraberværktøj kan dog fremskynde webstedsscanninger.

Generelle tips til webstedsskraber til gennemgang af fora og blogs

Fora og blogs adskiller sig ikke fra andre websteder. Sjældent vil du nogensinde få brug for at konfigurere hjemmesideskraber på en speciel måde. Men her er en liste over almindelige emner for store og/eller databasewebsteder:

Hvordan nogle webstedsplatforme forårsager crawlproblemer.
Brug support til CV-scanning i vores webstedsskraberværktøj.
- Bemærk, at du kan forbedre CV ved at deaktivere:
  - Ældre versioner:
    - Scan hjemmeside | Crawler muligheder | Anvend "webmaster"- og "output"-filtre, efter at webstedsscanningen stopper
  - Nyere versioner:
    - Scan hjemmeside | Udgangsfiltre | Når webstedsscanningen stopper: Fjern ekskluderede webadresser
    - Scan hjemmeside | Webmaster filtre | Efter at webstedsscanningen stopper: Fjern URL'er med noindex/disallow
Om at crawle og finde links på hjemmesider.
Justering af serverbelastning og webstedscrawlhastighed.
Inklusive indhold ellers kun tilgængeligt for abonnenter, der bruger adgangskodebeskyttede sider.
Brug outputfiltre til at udelukke visse URL'er fra at blive inkluderet i et webstedsscanningsoutput.
Brug analysefiltre til at forhindre visse webadresser i at blive crawlet/analyseret.

Eksempelindstillinger for webstedsskraber for populære fora og blogs

Følgende indstillinger er til demonstrationsformål. Mest sandsynligt behøver du aldrig at konfigurere disse muligheder. Hvis du har brug for at konfigurere indstillinger, skal du bruge tid på at undersøge ovenstående links og hvad du har brug for. Så kig eventuelt nedenunder for inspiration. Husk, få blogs og fora er nøjagtig ens.

Bemærk: Der er muligvis allerede hurtige forudindstillinger... tilgængelige på Scan websted, der matcher din webstedsplatform og crawlbehov.

Bemærk: Hvis du er i tvivl, hvilken login-sti og postformulardata svarer til at se hjælpesiden om adgangskodebeskyttede sider og login.

Liste over eksempler:

phpbb
- Konfigurer login
  - Loginsti : http://forum.example.com/login.php
  - Indlægsformulardata : brugernavn=ditbrugernavn&password=ditkodeord&redirect=index.php?&login=Log ind
- Konfigurer crawler/analyse og output/listeekskluderingsfiltre
  - Nødvendig
    - :login.php?log ud
  - Anbefalede
    - :profile.php
    - :login.php
    - :newreply.php
    - :printthread.php
    - :sendmessage.php
    - :search.php
    - :threadrate.php
vBulletin
- Konfigurer login
  - Loginsti : http://forum.example.com/login.php?do=login
  - Indlægsformulardata : vb_login_username=ditbrugernavn&vb_login_password=ditkodeord&cookieuser=1&s=&do=login&vb_login_md5password=&vb_login_md5password_utf=
- Konfigurer crawler/analyse og output/listeekskluderingsfiltre
  - Nødvendig
    - :login.php?log ud
  - Anbefalede
    - :profile.php
    - :login.php
WordPress
- Konfigurer login
  - Loginsti : http://blog.example.com/wp-login.php
  - Indlægsformulardata : log=ditbrugernavn&pwd=ditkodeord&rememberme=forever&wp-submit=Log+ind&redirect_to=wp-admin%2F&testcookie=1
- Konfigurer crawler/analyse og output/listeekskluderingsfiltre
  - Nødvendig
    - :wp-admin/
    - :wp-login.php?action=log ud
  - Anbefalede
    - :wp-login.php
  - Bemærk
    - Hvis du ikke udelukker "admin"-sektionen ved hjælp af filtre, så prøv at undgå redigering, post, sletning, skraldespand, logout og relaterede linktyper.

A1 Website Scraper | hjælp | forrige | Næste

Udtræk data fra websteder til CSV-filer. Ved at skrabe hjemmesider kan du få fat i data på hjemmesider og omdanne dem til CSV-filer, der er klar til at blive importeret overalt, f.eks. SQL-databaser

Denne hjælpeside vedligeholdes af Thomas Schulz

Som en af de ledende udviklere har hans hænder rørt det meste af koden i softwaren fra Microsys. Hvis du e-mailer spørgsmål, er chancerne for, at han vil være den, der svarer.