Kroolari

Kroolari on Avoltuksen kehittämä www-agentti, joka käy säännöllisin väliajoin tutkimassa sivustoja. Kroolatusta materiaalista koostetaan hakuindeksejä eri hakupalveluita varten. Kroolari käyttää hajautustekniikkaa, joten läpikäytävien sivustojen www-palvelimille ei pitäsi aiheutua juurikaan huomattavaa kuormaa.

 

Tietoa kroolarista

 

Miten estää Kroolarin vierailut?

Jos haluatte estää Kroolarin vierailut voitte asettaa robots.txt tiedoston palveluunne, jossa voitte määritellä paikat joihin Kroolarin ei tule mennä. Tiedoston määrittely tapahtuu "The Robot Exclusion Standard" -standardin mukaan. Jos teillä ei ole pääsyä robots.txt tiedostoon, niin voitte estää Kroolarin vierailut myös META-tagi-määrityksellä. Alta löytyvät esimerkit edellä mainittuihin estotapoihin.

* Robots.txt esimerkki:
  Lisää seuraavat rivit robots.txt tiedostoon

  User-agent: Kroolari
  Disallow: /

* META-tagi-esimerkki:
  Lisää seuraava rivi sivusi head-osaan

  <meta name="robots" content="noindex,nofollow">

* Kroolari META-tagi-esimerkki:
  Lisää seuraava rivi sivusi head-osaan

  <meta name="Kroolari" content="noindex,nofollow">

Jos koette kroolarin aiheuttavan ongelmia palvelullenne tai haluatte estää Kroolarin vierailut, voitte myös ottaa yhteyttä sähköpostitse osoitteeseen .

Lisätietoja www-roboteista: