Een zoekrobot: het klinkt wellicht als Robin van Bassie en Adriaan die je de hele dag achtervolgt en je telkens weer weet te vinden, waar je je ook verstopt. Je hoeft echter vanaf nu niet constant over je schouder te kijken, want met een zoekrobot bedoelen we een computersystemen die het internet afstruinen op zoek naar nieuwe content. Zoekrobots worden dan ook wel spiders genoemd en de zogeheten Googlebot is de bekendste hiervan. Deze bepaalt welke webpagina’s in aanmerking komen om te worden opgenomen in de zoekresultaten van Google.
Wat doet een zoekrobot precies?
Een zoekrobot volgt voortdurend links op het internet. Dit zijn zowel interne als externe links. Op die manier scant hij websites op nieuwe content, dit noemen we crawlen. Komt de zoekrobot op die manier nieuwe pagina’s tegen of merkt hij op dat de inhoud van een pagina veranderd is, dan kunnen deze pagina’s (opnieuw) geïndexeerd worden.
Overigens is de Googlebot zeker niet de enige zoekrobot. Ook andere zoekmachines maken gebruik van zoekrobots. Maar denk ook eens aan vergelijkingssites, die voortdurend de laagste prijzen van – bijvoorbeeld – tienduizenden hotels wereldwijd afgaan. In principe is iedere computergestuurd systeem dat op systematische wijze het web afstruint aan te duiden als een zoekrobot.
