Robots Exclusion Standard:

Ook wel: Robots Exclusion Protocol of robots.txt

Het Robots Exclusion Protocol omvat enkele mogelijkheden om zoekmachines aanwijzingen te geven welke pagina’s binnen een website niet geïndexeerd mogen worden. Deze mogelijkheden kunnen worden gebruikt wanneer het onwenselijk is dat bepaalde pagina’s worden opgenomen in zoekresultaten. De ‘robots’ zijn meestal de spiders van zoekmachines, programma’s die voor zoekmachines continu het web afspeuren naar nieuwe informatie. Er zijn ook web robots voor andere doeleinden. Of de aanwijzingen volgens de standaard worden opgevolgd is afhankelijk van het betreffende robot. Het protocol biedt dus geen garanties. De crawlers van de meeste grote zoekmachines (zoals Google en Bing) respecteren deze standaarden. Een protocol dat dient om pagina’s juist wél te laten opnemen in zoekmachines is de XML Sitemap.

Zoek de betekenis van een andere marketingterm