Aller au contenu
Encyclopédie informatique Édition 2026

Le référencement (SEO)

Partie 3 sur 4

Niveau de lecture :

5Parler aux robots : robots.txt et ses compagnons

Le fichier robots.txt est un fichier texte contenant des commandes à l’intention des robots d’indexation, pour leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi, tout moteur de recherche commence l’exploration d’un site en cherchant ce fichier à la racine du site (par exemple https://www.example.org/robots.txt). Il s’écrit en minuscules et au pluriel, il s’agit d’un fichier ASCII (texte simple, voir les caractères) et il ne doit contenir aucune ligne vide à l’intérieur d’un bloc.

5.1Les commandes

Deux commandes de base :

  • User-Agent: précise le robot concerné par les directives qui suivent. La valeur * signifie « tous les moteurs de recherche » ;
  • Disallow: indique les pages à exclure de l’indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et commencer par /. La valeur / seule signifie « toutes les pages du site ».

Voici des cas types, avec des noms fictifs.

Exclure toutes les pages :

User-Agent: *
Disallow: /

Ne rien exclure (équivalent à l’absence de fichier : toutes les pages sont visitées) :

User-Agent: *
Disallow:

Autoriser un seul robot (« NomDuRobot » est un exemple) :

User-Agent: NomDuRobot
Disallow:

User-Agent: *
Disallow: /

Exclure un robot :

User-Agent: NomDuRobot
Disallow: /

User-Agent: *
Disallow:

Exclure une page, ou un répertoire et ses sous-dossiers :

User-Agent: *
Disallow: /repertoire/chemin/page.html
Disallow: /prive/

Une précision d’aujourd’hui sur la syntaxe : les lignes vides sont admises entre deux blocs (comme ci-dessus) pour séparer les robots ; seule une ligne vide au milieu d’un bloc pose problème. Le standard a été officialisé en 2022 (RFC 9309) et admet aussi Allow: (autoriser une exception) et des caractères joker dans certains moteurs.

5.2Quelques noms de robots

Voici les noms des robots des moteurs d’autrefois : Scooter pour Alta Vista, ArchitextSpider pour Excite, Googlebot pour Google, Slurp pour HotBot, InfoSeek Sidewinder pour InfoSeek, T-Rex pour Lycos, Echo pour Voilà. La plupart de ces moteurs ont disparu ; seul Googlebot est resté célèbre. Aujourd’hui, on rencontre aussi Bingbot (Bing), DuckDuckBot, Applebot, et des robots d’entreprises d’intelligence artificielle qui collectent des textes pour entraîner leurs modèles : beaucoup de sites les mentionnent dans leur fichier robots.txt pour accepter ou refuser leur passage.

5.3Ce que robots.txt ne fait pas

Voici le point le plus important, souvent négligé : robots.txt est une demande de politesse, non une protection. Un robot honnête s’y conforme ; un robot malveillant l’ignore, et le fichier, public, indique même où se trouvent les parties que vous voulez cacher. Pour protéger un contenu, il faut un vrai contrôle d’accès (mot de passe, droits). De plus, une page « interdite » peut malgré tout apparaître dans les résultats, sans résumé, si d’autres sites pointent vers elle. Pour retirer une page des résultats, on utilise la balise noindex, à condition de laisser le robot lire la page.

5.4Le plan du site

À l’inverse de robots.txt qui dit où ne pas aller, un plan du site (fichier sitemap.xml) dresse la liste des pages que l’on souhaite voir explorer, avec leur date de modification. On l’indique dans robots.txt, ou on le déclare dans l’outil du moteur. C’est la version moderne de l’ancienne « soumission ».

Pour s’exercer

Exercice 3 : le fichier robots.txt

Écrivez un robots.txt qui interdit à tous les robots le dossier /brouillons/ et la page /test.html, mais autorise le reste. Ce fichier protège-t-il ces pages ?

Voir la réponse

User-Agent: * puis Disallow: /brouillons/ et Disallow: /test.html sur deux lignes séparées. Non, il ne les protège pas : un robot malveillant l’ignore, et le fichier révèle même leur existence. Pour réellement les cacher, il faut un mot de passe ; pour les retirer des résultats, une balise noindex.

6Promouvoir un site

Assurer la promotion d’un site web consiste à le faire connaître par de nombreux moyens, afin, selon les cas, d’améliorer son trafic, de gagner en notoriété, d’obtenir de nouveaux prospects (clients potentiels) ou de développer le nombre de ventes. On appelle web marketing (ou cybermarketing, netmarketing) toute opération qui améliore la visibilité d’un site en utilisant Internet comme canal de prospection, par opposition au marketing traditionnel. Les deux ne sont pas concurrents : une promotion en ligne (online) bien articulée avec une promotion hors ligne (offline, traditionnelle) a encore plus d’impact.

6.1La presse

La presse est le média traditionnel par excellence pour mener une campagne de communication, et la promotion de sites web ne déroge pas à la règle. Elle passe habituellement par un communiqué de presse, c’est-à-dire un court texte descriptif envoyé à des journalistes. Il se rédige comme une information : un fait nouveau, des chiffres, une personne à contacter, une adresse. Un site qui est cité par un média reconnu reçoit à la fois des visiteurs et un lien de qualité.

6.2Les liens réciproques

La mise en place de liens réciproques consiste à établir un partenariat sous la forme d’un échange de liens (en anglais netlinking) entre plusieurs sites complémentaires, afin d’augmenter mutuellement leur fréquentation. On la tenait pour l’une des stratégies de promotion les plus avantageuses, tant par sa simplicité que par son coût : elle apporte un trafic qualifié, venu de sites proches de votre sujet. Mais elle peut aussi être contre-productive ou nuire à l’image du site si les partenaires sont mal choisis.

Pour établir un partenariat, il faut choisir des sites complémentaires au vôtre, et non des concurrents directs, selon quatre critères : leur notoriété, la qualité du contenu, l’affluence (le nombre de visiteurs) et le positionnement dans les outils de recherche. Il existe aussi des services d’échange de liens, appelés link farms (« fermes de liens ») ou webrings (« anneaux »), qui mutualisent les liens de sites d’une même catégorie, en affichant au hasard ceux des membres. Ces services promettaient une augmentation spectaculaire d’audience, mais, en réalité, c’en sont les grands gagnants : un lien vers eux figure sur toutes les pages des sites fédérés. Aujourd’hui, les moteurs repèrent les échanges artificiels et les ignorent, voire les sanctionnent (partie 8). Les liens qui comptent sont ceux qu’on obtient parce que le contenu est cité.

6.3L’échange de contenus

L’échange de contenu est un bon moyen de faire connaître un site tout en tissant des relations avec des sites partenaires : on met à disposition d’autres sites des éléments de contenu (un article, un outil, une infographie) contre de la visibilité, grâce à un lien vers la source, accompagné éventuellement d’un logo. Aujourd’hui, cela prend la forme d’articles invités, de partenariats, de flux de données ouverts. Mieux vaut prévoir le lien en retour, pour que le travail vous soit attribué, et veiller à ce que le contenu ne soit pas simplement dupliqué à l’identique, ce que les moteurs jugent mal.

6.4Le marketing viral et tribal

Le marketing viral consiste à utiliser les relations interpersonnelles entre internautes pour diffuser une information : faire des visiteurs les ambassadeurs du site, par un phénomène de recommandation ou de bouche-à-oreille. S’il réussit, la diffusion est exponentielle (chaque personne en convainc plusieurs autres). On distingue le marketing viral passif, où le produit se fait connaître de lui-même (les messageries instantanées, le téléphone portable : leur seul usage encourage l’entourage à les adopter), du marketing viral actif, où l’on diffuse un message grâce à un support qui se propage. On pouvait le provoquer avec des vidéos ou de petits « goodies » (cadeaux numériques), idéalement inférieurs à 1 Mo pour passer par courriel, de préférence humoristiques. Les supports de l’époque : cartes postales virtuelles, économiseurs d’écran, fonds d’écran, animations et jeux, clips vidéo, utilitaires pratiques. Beaucoup de sites proposaient aussi un bouton « conseiller ce site à un ami ».

Les supports ont changé (vidéos courtes, mèmes, défis, partages sur les réseaux sociaux), le principe non. Le marketing tribal s’adresse à des communautés soudées autour d’une passion commune, que l’on fait vivre, plutôt qu’à une foule anonyme. Dans les deux cas, ce qui est contagieux est ce qui est utile, drôle ou touchant. Une réserve : une opération « virale » peut échapper à son auteur, pour le meilleur ou pour le pire.

6.5Le courriel : e-mail marketing, opt-in et opt-out

L’e-mail marketing (envoi de messages promotionnels par courriel, voir la messagerie) peut être assimilé à du spam si les envois ne sont pas demandés par le destinataire. On distingue l’opt-in (le destinataire a donné son accord préalable) et l’opt-out (on envoie à tous, et la personne peut ensuite refuser).

Cette distinction est maintenant tranchée par le droit. En France et dans l’Union européenne, la prospection par courriel auprès de particuliers exige en principe un consentement préalable (opt-in), avec quelques exceptions pour les clients existants et des produits analogues, et un moyen simple de se désinscrire à chaque message. Le règlement général sur la protection des données et les règles sur la vie privée dans les communications électroniques s’appliquent. Un site qui fait de la prospection sans consentement s’expose à des sanctions de la CNIL (autorité française de protection des données), et ses messages sont de toute façon classés indésirables.

6.6Les supports existants

Dernier conseil, gratuit et trop souvent oublié : pour une entreprise, il peut être intéressant de se servir des supports existants (cartes de visite, devis, factures, catalogues, brochures) pour y faire figurer l’adresse du site. On y ajoute aujourd’hui la signature des courriels, les vitrines, les emballages, et un code de type QR qui mène directement à la page.

6.7Ce qui s’est ajouté depuis

  • Les réseaux sociaux, où l’on publie des extraits renvoyant vers le site (voir les cookies pour la mesure et le suivi, et le droit qui les encadre).
  • Les fiches d’établissement des moteurs et des cartes pour les commerces locaux.
  • La publicité en ligne (annonces sur les moteurs et sur les sites) et l’affiliation (des partenaires reçoivent une commission pour chaque vente apportée).
  • Les newsletters et les podcasts, qui entretiennent un public fidèle.

Pour s’exercer

Exercice 4 : reconnaître un abus

Classez chaque pratique : (a) répéter « pas cher » 80 fois en bas de page en blanc sur blanc ; (b) offrir une version en anglais à qui lit l’anglais ; (c) montrer un texte riche en mots-clés uniquement aux robots ; (d) acheter 5 000 liens sur des sites sans rapport.

Voir la réponse

(a) Spamdexing : texte invisible et bourrage. (b) Légitime : on adapte au visiteur, le robot recevrait la même chose s’il demandait l’anglais. (c) Cloaking, proscrit. (d) Achat de liens artificiels, sanctionnable. Le critère commun : tromper le moteur, ou ne pas montrer la même chose aux robots et aux visiteurs.

Exercice 5 : choisir ses partenaires de liens

Une association de randonnée envisage un échange de liens avec un site de vente de chaussures de marche, un autre club de randonnée de la même région, et un site de paris en ligne qui lui propose 200 liens. Qui choisir ?

Voir la réponse

Le site de chaussures (complémentaire, trafic qualifié) et, avec prudence, l’autre club s’il n’est pas un concurrent direct pour les mêmes adhérents. Le site de paris : sans rapport, de qualité douteuse, et 200 liens d’un coup ressemblent à un schéma artificiel que les moteurs sanctionnent. Les critères : notoriété, qualité du contenu, affluence, positionnement, et complémentarité.

Exercice 6 : opt-in ou opt-out

Une boutique a recueilli des adresses de courriel à l’occasion d’un jeu-concours. Peut-elle y envoyer sa lettre promotionnelle ? Que prévoir dans le message ?

Voir la réponse

En principe non, sauf si les personnes ont accepté explicitement de recevoir des offres (consentement préalable, opt-in) : participer à un concours ne vaut pas accord. Un envoi sans accord serait du spam et exposerait à une sanction. Chaque message doit mentionner l’expéditeur et offrir un moyen simple et gratuit de se désinscrire.

Exercice 7 : un plan d’action d’une heure

Vous reprenez le site d’un artisan : une page d’accueil, quatre pages de services, aucun texte alternatif. Proposez cinq actions, dans l’ordre.

Voir la réponse

1) Donner à chaque page un titre unique et précis. 2) Rédiger pour chaque service un texte utile (ce qu’on fait, où, tarifs indicatifs, photos de réalisations). 3) Ajouter un texte alternatif à chaque image. 4) Relier les pages entre elles et à l’accueil, créer la fiche de l’établissement dans les cartes locales. 5) Vérifier l’affichage sur téléphone et la vitesse, puis déclarer un plan du site. Les astuces (mots-clés cachés, achats de liens) ne figurent pas dans la liste.