Google explique comment ses robots visitent les sites

Estimated reading time: 2 minutes

Merci pour la lecture de cet article, n'oubliez pas de vous inscrire

Résumer cet article avec :

Le crawl de ses robots ne veulent pas perdre du temps
Budget ? Pourquoi ce comportement ?

Le crawl de ses robots ne veulent pas perdre du temps

En détaillant le fonctionnement du crawler de ses robots, Google nous indique pourquoi les sites sont bien ou mal positionnés.
Le crawl c’est un robot qui aspire les pages des sites internet, le crawler ne visite pas toutes les pages du site en une seule fois. Il revient sur le site à des fréquences, et surtout, avec un quota de pages à visiter.
C’est normal, d’une part il y a beaucoup de pages web sur internet, Google ne veut pas saturer les réseaux, et de plus, Google a des ressources qui ne sont pas illimitées.

Comme un humain, Google ne veut pas perdre de temps avec un site qui est trop lent, un site qui ne bouge pas, un site qui est trop brouillon.

Donc, Google gère pour chaque site un quota de visites liées aux performances de vitesse du site, et des pages à visiter.
Le quota de visites est calculé essentiellement au temps de chargement des pages. Conclusion: le site doit être le plus rapide possible.
Nombre de pages visitées: Google veut voir les pages les plus récentes, et celles qui ont été améliorées en contenu, conclusion: indiquer à Google les nouvelles pages, et les pages modifiées en premier (d’où l’importance du fichier sitemap et des liens externes)

Budget ? Pourquoi ce comportement ?

Le budget crawl est donc plafonné pour chaque site, cela mime le comportement humain.

Vitesse

Pourquoi visiter un magasin dont l’accès est difficile, alors que j’ai un magasin plus proche et plus facile d’accès. C’est donc le même comportement de la part de Google, à quoi bon s’escrimer à visiter régulièrement un site qui est plus lent et plus difficile à visiter.

Fraicheur

Pourquoi visiter toutes les pages d’un site si le contenu n’évolue pas.

Conclusion

Le crawl du site est étroitement lié à la qualité de la vitesse des pages, et du nombre de pages à visiter. C’est un élément important pour le référencement du site.

Liens Externes

Qu’entend donc Google quand il parle de “Crawl Budget” (budget d’exploration) ? sur Blog Google officiel
Page d’aide de Google sur l’Exploration de Googlebot

Pierre Alouit

Ingénieur informatique passionné avec plus de 30 ans d'expérience, j'ai développé des solutions innovantes dans divers secteurs technologiques. À 55 ans, je continue de m'investir dans la transformation digitale et l'optimisation des systèmes.

Lien court pour cet article : https://zut.io/1hIDU