Crawlen is het lezen van je site door zoekmachines. Google controleert via de sitemap of er nieuwe content geplaatst is en indexeert deze vervolgens in de zoekresultaten.