Gennemgang af fora og blogs med webstedsdownload

Gennemgang af blogs og fora såsom SMF, VBulletin etc. kan nogle gange tage lang tid. Korrekt konfiguration af vores webstedsdownloadværktøj kan dog fremskynde scanninger af websteder.

Generelle tips til download af websteder til gennemgang af fora og blogs

Fora og blogs adskiller sig ikke fra andre websteder. Sjældent vil du nogensinde have brug for at konfigurere webstedsdownload på en særlig måde. Men her er en liste over almindelige emner for store og/eller databasewebsteder:

Hvordan nogle webstedsplatforme forårsager crawlproblemer.
Brug support til CV-scanning i vores webstedsdownloadværktøj.
- Bemærk, at du kan forbedre CV ved at deaktivere:
  - Ældre versioner:
    - Scan hjemmeside | Crawler muligheder | Anvend "webmaster"- og "output"-filtre, efter at webstedsscanningen stopper
  - Nyere versioner:
    - Scan hjemmeside | Udgangsfiltre | Når webstedsscanningen stopper: Fjern ekskluderede webadresser
    - Scan hjemmeside | Webmaster filtre | Efter at webstedsscanningen stopper: Fjern URL'er med noindex/disallow
Om at crawle og finde links på hjemmesider.
Justering af serverbelastning og webstedscrawlhastighed.
Inklusive indhold ellers kun tilgængeligt for abonnenter, der bruger adgangskodebeskyttede sider.
Brug outputfiltre til at udelukke visse URL'er fra at blive inkluderet i et webstedsscanningsoutput.
Brug analysefiltre til at forhindre visse webadresser i at blive crawlet/analyseret.

Eksempel på indstillinger for download af websteder for populære fora og blogs

Følgende indstillinger er til demonstrationsformål. Mest sandsynligt behøver du aldrig at konfigurere disse muligheder. Hvis du har brug for at konfigurere indstillinger, skal du bruge tid på at undersøge ovenstående links og hvad du har brug for. Så kig eventuelt nedenunder for inspiration. Husk, få blogs og fora er nøjagtig ens.

Bemærk: Der er muligvis allerede hurtige forudindstillinger... tilgængelige på Scan websted, der matcher din webstedsplatform og crawlbehov.

Bemærk: Hvis du er i tvivl, hvilken login-sti og postformulardata svarer til at se hjælpesiden om adgangskodebeskyttede sider og login.

Liste over eksempler:

phpbb
- Konfigurer login
  - Loginsti : http://forum.example.com/login.php
  - Indlægsformulardata : brugernavn=ditbrugernavn&password=ditkodeord&redirect=index.php?&login=Log ind
- Konfigurer crawler/analyse og output/listeekskluderingsfiltre
  - Nødvendig
    - :login.php?log ud
  - Anbefalede
    - :profile.php
    - :login.php
    - :newreply.php
    - :printthread.php
    - :sendmessage.php
    - :search.php
    - :threadrate.php
vBulletin
- Konfigurer login
  - Loginsti : http://forum.example.com/login.php?do=login
  - Indlægsformulardata : vb_login_username=ditbrugernavn&vb_login_password=ditkodeord&cookieuser=1&s=&do=login&vb_login_md5password=&vb_login_md5password_utf=
- Konfigurer crawler/analyse og output/listeekskluderingsfiltre
  - Nødvendig
    - :login.php?log ud
  - Anbefalede
    - :profile.php
    - :login.php
WordPress
- Konfigurer login
  - Loginsti : http://blog.example.com/wp-login.php
  - Indlægsformulardata : log=ditbrugernavn&pwd=ditkodeord&rememberme=forever&wp-submit=Log+ind&redirect_to=wp-admin%2F&testcookie=1
- Konfigurer crawler/analyse og output/listeekskluderingsfiltre
  - Nødvendig
    - :wp-admin/
    - :wp-login.php?action=log ud
  - Anbefalede
    - :wp-login.php
  - Bemærk
    - Hvis du ikke udelukker "admin"-sektionen ved hjælp af filtre, så prøv at undgå redigering, post, sletning, skraldespand, logout og relaterede linktyper.

A1 Website Download | hjælp | forrige | Næste

Download og tag komplette websteder med dig for at browse på offline medier. Kopier og gem hele websteder til sikkerhedskopiering, arkivering og dokumentationsformål. Gå aldrig glip af et websted igen.

Denne hjælpeside vedligeholdes af Thomas Schulz

Som en af de ledende udviklere har hans hænder rørt det meste af koden i softwaren fra Microsys. Hvis du e-mailer spørgsmål, er chancerne for, at han vil være den, der svarer.