Crawling : C’est quoi, définition
Désigne l’action des robots des moteurs de recherche, qui parcourent les différentes pages d’un site Internet.
Les moteurs de recherche affichent des résultats, pour une requête donnée, en fonction d’un algorithme qui leur est propre.
Selon cet algorithme justement, les différents sites auront une position différente dans les résultats des moteurs en question.
En amont, l’étape du crawling sert alors :
- à trouver des nouveaux sites.
- à identifier leurs contenus.
- à déterminer leur qualité, en fonction de l’algorithme
