Pour extraire les différents contenus des sites Internet, les classer et les référencer, les moteurs de recherche utilisent des robots d’indexation.
Ces derniers passent régulièrement sur les sites Web pour récupérer leurs données. L’analyse de ces dernières leur permet de les classer puis de les faire ressortir (ou non) dans leurs pages de résultats.
Bien optimiser son contenu et en faciliter l’indexation aide donc au référencement naturel d’un site Internet.