Website Scraper Command Line Automation

Du kan bruge en kommandolinjegrænseflade til at automatisere alle de store webstedsskraberværktøjer i programmet.

Det betyder, at du også kan bruge eksterne applikationer og bat/batch/script-filer.

Dette giver dig mulighed for at køre vores hjemmesideskrabersoftware med jævne mellemrum ved hjælp af f.eks. Windows Task Scheduler.

• Parametre:
  • " :%project-path% " : Hvor %project-path% skal indeholde den aktive projektfilsti. ( Husk kolon før projektstien.)
  • " @override_initfromproject=c:\example\projects\initfrom.ini@ " : Overskriv de oprindelige anvendte projektindstillinger.
  • " @override_rootpath=http://example.com@ " : Overskriv webstedets rodsti.
  • " -autocreate " : Opret automatisk projektfiler og relaterede, hvis de ikke allerede eksisterer.
  • " -exit " : Afslutter, når du er færdig.
  • " -skjul " : Altid usynlig og afsluttes, når du er færdig.
  • " -scan " : Kører webstedsscanner.
  • " -stop 0000 " : Stopper scanningen efter et antal sekunder, fx -stop600 stopper scanningen efter 10 minutter.
  • " -stopurls 0000 " : Stopper scanningen efter at et antal URL'er er blevet både fundet og håndteret, f.eks. -stopurls500.
  • " -save " : Gemmer projektet.
  • " @override_exportpathdir=c:\example\exports\@ " : Overskriv den generelle mappesti, der bruges til f.eks. CSV-eksportdatafiler.
  • " -exportexternalcsv " : Eksporterer alle URL-data, der er angivet i "ekstern" trævisning, til en fil kaldet "external.csv" placeret i projektbiblioteket.
  • " -exportinternalcsv " : Eksporterer alle URL-data, der er angivet i "intern" trævisning, til en fil kaldet "internal.csv" placeret i projektbiblioteket.
  • " -exportsitemapcsv " : Eksporterer alle URL-data, der er angivet i "intern" trævisning, til en fil kaldet "sitemap.csv" placeret i projektbiblioteket.
  • " -scrapesinglepage " : Skrab kun den enkeltsides URL-definerede Scraper-indstillinger - nyttigt, hvis du kun vil have data fra en enkelt side.
  
  
• Eksempler til brug på Windows :
  • [ "c:\microsys\website\scraper.exe" -exit -scan -build -save ":c:\microsys\website\scraper\my-project.ini" ].
  • [ "Scraper.exe" -exit -scrapesinglepage ":my-project.ini" ] - Her antages det, at mit-project.ini er i samme mappe som den eksekverbare.
  • [ "Scraper.exe" -scan -build @override_rootpath=http://example.com@ ]
  • [ start "" "Scraper.exe" -scan -build @override_rootpath=http://example.com@ ] - Starter asynkront. Brug ikke mellemrum i parametre.
    [ timeout 2 ] - Inaktiv tid for at undgå problemer med flere forekomster, der starter på nøjagtig samme tidspunkt.
  
  
• Eksempler til brug på Mac OS :
  • [ open -n A1WebsiteScraper.app --args -scan -build @override_rootpath=http://example.com@ ].
  • [ open -n A1WebsiteScraper.app --args -exit -scan -save -autocreate ":/users/%name%/myprojects/shopexample.ini" @override_initfromproject=/users/%name%/myprojecs/mydefaults.ini@ @ @ override_rootpath=https://shop.example.com@ ].
  
  
• Tips:
  • For at forhindre en parameterværdi, der indeholder mellemrum (f.eks. hvis du sender en mappesti) i at blive opdelt, skal du omslutte den inden for et par "".
  • I ovenstående eksempler refererer %name% til dit brugernavn i det givne operativsystem.