Robots.txtRobots.txt is een bestand dat crawlers aanstuurt. Het wordt ... is een bestand dat crawlers aanstuurt. Het wordt gebruikt om delen van je site te blokkeren. Dit kan handig zijn als je niet wilt dat bepaalde informatie wordt geïndexeerd door zoekmachines. Het bestand staat in de sitemap van je site en heeft invloed op alle subpagina’s.