Menu

Fichier Robots

Robots.txt est un fichier texte que les webmasters créent pour apprendre aux robots du web  comment explorer les pages de leur site web. Le fichier robots.txt fait partie du protocole d’exclusion des robots (REP), un groupe de normes web qui régit la manière dont les robots explorent le web, accèdent au contenu et l’indexent, et le servent aux utilisateurs. Le REP comprend également des directives telles que les méta-robots, ainsi que des instructions relatives à la page, au sous-répertoire ou au site dans son ensemble pour savoir comment les moteurs de recherche doivent traiter les liens (comme « follow » ou « nofollow »).

En pratique, les fichiers robots.txt indiquent si certains agents utilisateurs (logiciels de navigation sur le web) peuvent ou non explorer des parties d’un site web. Ces instructions d’exploration sont spécifiées en « interdisant » ou en « autorisant » le comportement de certains (ou de tous) les agents utilisateurs.

Exemple de fichier robot

# Group 1
User-agent: Googlebot
Disallow: /nogooglebot/

# Group 2
User-agent: *
Allow: /
Sitemap: http://www.example.com/sitemap.xml

Vous trouverez sur internet de nombreux générateurs de fichier robots.txt

Related Posts

SERP d’un moteur de recherche

SERP d’un moteur de recherche

SERP : Page de résultats des moteurs de recherche (SERP). C’est la page que retourne un moteur de recherche après qu’un utilisateur a soumis une requête de recherche. En plus des résultats de recherche organique, les pages de résultats des moteurs de recherche (SERP) comprennent généralement des annonces de recherche payante et de paiement au […]

Méta tags

Méta tags

Les méta tags ou métabalises sont des morceaux de texte qui décrivent le contenu d’une page ; les métabalises n’apparaissent pas sur la page elle-même, mais seulement dans le code source de la page. Les métabalises sont essentiellement de petits descripteurs de contenu qui aident à dire aux moteurs de recherche ce qu’est une page […]

Duplicate content

Duplicate content

Le contenu dupliqué est le contenu qui apparaît sur internet à plusieurs endroits (par « endroits » google entend pages ou URL différentes) . Si le même contenu apparaît à plusieurs adresses url différentes, vous avez un contenu dupliqué. On parle de duplicate content interne, quand le même contenu est repris sur plusieurs url à l’intérieur d’un […]