Aller au contenu
Encyclopédie informatique Édition 2026

Le codage des caractères : ASCII et Unicode

Partie 2 sur 2

Niveau de lecture :
Vidéo de cette partieenviron une minute et demie, avec voix et texte à l’écran

4Les codages sur 8 bits, une tour de Babel

Mis au point pour la langue anglaise, l’ASCII ne connaît ni les accents, ni le ç, ni le symbole €, ni aucun alphabet autre que l’alphabet latin sans diacritiques. Comme les ordinateurs manipulaient des octets de 8 bits, il restait un bit libre, donc 128 places supplémentaires (de 128 à 255). Chacun les a remplies à sa façon. On parle couramment d’« ASCII étendu », mais il n’existe pas un ASCII étendu : il en existe des dizaines de variantes incompatibles, qui dépendent fortement de la plateforme utilisée. On les appelle des pages de codes.

  • La page de codes 437 de l’IBM PC (1981) contenait des lettres accentuées, des lettres grecques et des caractères de dessin de cadres, très utilisés par les programmes en mode texte de l’époque. Sa variante pour l’Europe de l’Ouest porte le numéro 850.
  • La famille de normes ISO 8859, publiée à partir de 1987 par l’Organisation internationale de normalisation (ISO), propose une variante par groupe de langues : ISO 8859-1, dite Latin-1, pour l’Europe de l’Ouest ; ISO 8859-5 pour le cyrillique ; ISO 8859-7 pour le grec, etc.
  • Windows-1252, le codage de Microsoft pour les langues occidentales, reprend Latin-1 en ajoutant dans des positions laissées libres les guillemets typographiques, le œ et le symbole €.
  • Les grands systèmes d’IBM utilisent depuis les années 1960 un code sur 8 bits entièrement différent, l’EBCDIC (Extended Binary Coded Decimal Interchange Code), incompatible avec l’ASCII. Bien que largement répandu sur les machines IBM, il n’a jamais connu le succès de l’ASCII ; les banques et les assurances l’utilisent encore sur leurs ordinateurs centraux.

Windows a gardé de cette époque deux appellations trompeuses. La page de codes OEM (Original Equipment Manufacturer, « fabricant d’origine ») est celle de l’IBM PC, toujours utilisée par la console : 437 aux États-Unis, 850 en Europe de l’Ouest. La page de codes ANSI est celle des applications graphiques, Windows-1252 en Europe de l’Ouest ; elle doit son nom à un projet de norme de l’ANSI (American National Standards Institute, l’institut américain de normalisation), mais n’a jamais été une norme ANSI. Un fichier écrit dans la console et ouvert dans le Bloc-notes, ou l’inverse, voit ainsi ses accents changer.

Le problème est qu’un fichier ne dit pas toujours dans quel codage il a été écrit. Le même octet E9 désigne « é » en Latin-1, « й » dans la page de codes cyrillique de Windows (Windows-1251) et « Θ » dans la page de codes 437 de l’IBM PC. Les langues comme le chinois ou le japonais, qui comptent des milliers de caractères, exigeaient en outre des codages sur plusieurs octets, eux-mêmes multiples et concurrents.

4.1Un octet, plusieurs lecturesApprofondir

Tableau 3. La signification de quelques octets selon la page de codes. « Contrôle » désigne un caractère de contrôle, invisible.
OctetPage 437 (IBM PC)ISO 8859-1 (Latin-1)Windows-1252ISO 8859-15 (Latin-9)
80Çcontrôle€contrôle
82écontrôle‚ (guillemet bas)contrôle
85àcontrôle… (points de suspension)contrôle
9C£contrôleœcontrôle
A4ñ¤ (symbole monétaire)¤€
BD╜ (cadre)½½œ
C9╔ (cadre)ÉÉÉ
E9Θééé

Le tableau montre que le € n’occupe pas la même place en Windows-1252 (80) et en Latin-9 (A4), et qu’un texte français écrit sous MS-DOS (page 437) devient illisible dans n’importe quel codage ISO.

Quand un texte est lu avec un autre codage que celui qui a servi à l’écrire, il devient illisible. Les Japonais, très exposés au phénomène, lui ont donné un nom, devenu international : mojibake (文字化け, littéralement « caractères transformés »).

é U+00E9 encodé en UTF-8 C3 A9 deux octets enregistrés relu en UTF-8 relu en Windows-1252 é correct un seul caractère é mojibake C3 → Ã, A9 → ©
Figure 2. D’où vient « Ã© ». En UTF-8, la lettre é s’écrit avec deux octets. Un logiciel qui croit lire du Windows-1252 interprète chaque octet comme un caractère distinct. C’est l’erreur la plus fréquente sur les pages web et dans les fichiers CSV mal ouverts.

5Unicode, un catalogue pour toutes les écritures

5.1Le principe

À la fin des années 1980, des ingénieurs de Xerox et d’Apple proposent de remplacer cette mosaïque par un catalogue unique, dans lequel chaque caractère de chaque écriture aurait un numéro et un seul, indépendamment de tout système d’exploitation et de tout langage de programmation. Le Consortium Unicode, fondé en 1991, publie la même année la première version d’Unicode. La norme est tenue en parfait accord avec la norme internationale ISO/IEC 10646, qui définit le même répertoire. Elle regroupe la quasi-totalité des écritures existantes : latine, grecque, cyrillique, arménienne, hébraïque, arabe, indiennes, chinoise, japonaise, coréenne, et bien d’autres.

Chaque caractère reçoit un numéro, le point de code, que l’on écrit « U+ » suivi de quatre à six chiffres hexadécimaux : U+0041 pour A, U+00E9 pour é, U+20AC pour €, U+4E2D pour l’idéogramme chinois 中 (« milieu »), U+1F600 pour l’émoji 😀. Unicode est compatible avec l’ASCII : ses 128 premiers points de code reprennent exactement l’ASCII, et les 256 premiers reprennent Latin-1.

On lit encore qu’Unicode est un code « sur 16 bits ». C’était vrai de la première version, qui comptait sur 65 536 places. Elles se sont révélées insuffisantes : depuis la version 2.0, en 1996, l’espace disponible compte 1 114 112 positions, de U+0000 à U+10FFFF, réparties en 17 plans de 65 536 positions. Le premier, le plan multilingue de base, contient presque tous les caractères des langues vivantes. Les autres accueillent les écritures historiques, les symboles mathématiques, les idéogrammes rares et les émojis. La version 18.0, publiée le 16 septembre 2026, ajoute 13 007 caractères, dont trois écritures anciennes, et porte le total à 172 808 caractères. Il reste donc beaucoup de place libre.

Unicode ne s’occupe pas de l’apparence des caractères : il les décrit. C’est pourquoi un même émoji n’a pas tout à fait le même dessin sur un téléphone Android et sur un iPhone. Unicode décrit en revanche leurs propriétés : majuscule ou minuscule, chiffre, sens de l’écriture (de gauche à droite, ou de droite à gauche comme l’arabe et l’hébreu), règles de tri et de découpage en mots.

5.2UTF-8 et les autres encodages d’Unicode

Unicode définit plusieurs manières d’écrire un point de code en octets. UTF-32 utilise toujours 4 octets par caractère : c’est simple, mais coûteux. UTF-16 utilise 2 octets pour les caractères du premier plan et 4 pour les autres ; il sert de format interne à Windows, à Java et à JavaScript. UTF-8, enfin, utilise de 1 à 4 octets selon le caractère : c’est l’encodage du Web, des systèmes de type Unix et de la plupart des fichiers texte.

Tableau 4. Le principe d’UTF-8. Les bits en couleur indiquent la longueur de la séquence ; les x reçoivent les bits du point de code.
Points de codeOctetsForme binaireExemples
U+0000 à U+007F10xxxxxxxA → 41
U+0080 à U+07FF2110xxxxx 10xxxxxxé → C3 A9
U+0800 à U+FFFF31110xxxx 10xxxxxx 10xxxxxx€ → E2 82 AC
中 → E4 B8 AD
U+10000 à U+10FFFF411110xxx 10xxxxxx 10xxxxxx 10xxxxxx😀 → F0 9F 98 80

Ce schéma, conçu en 1992 par Ken Thompson et Rob Pike, deux chercheurs des laboratoires Bell, a trois qualités décisives. Il est compatible avec l’ASCII : un texte anglais en ASCII est déjà un texte UTF-8 valide, octet pour octet. Il est auto-synchronisant : les octets de continuation commencent toujours par 10, si bien qu’un programme qui tombe au milieu d’un texte retrouve immédiatement le début du caractère suivant. Il évite enfin toute question d’ordre des octets, qui complique UTF-16. En octobre 2026, selon le service de mesure W3Techs, 99,1 % des sites web dont l’encodage est connu utilisent UTF-8.

5.3UTF-8, bit à bitApprofondir

Pour encoder un caractère, on écrit son point de code en binaire, on choisit la ligne du Tableau 4 selon sa valeur, puis on répartit ses bits dans les x, en partant de la droite. Voici deux exemples complets.

é = U+00E9 = 1110 1001 en binaire        (≤ 7FF : 2 octets, 11 bits utiles)
11 bits     : 00011 101001
gabarit     : 110xxxxx 10xxxxxx
résultat    : 11000011 10101001  =  C3 A9

€ = U+20AC = 0010 0000 1010 1100         (≤ FFFF : 3 octets, 16 bits utiles)
16 bits     : 0010 000010 101100
gabarit     : 1110xxxx 10xxxxxx 10xxxxxx
résultat    : 11100010 10000010 10101100  =  E2 82 AC
Figure 3. L’encodage UTF-8 de é et de €. Le décodage se fait en sens inverse : le nombre de 1 en tête du premier octet donne la longueur de la séquence, puis on recolle les bits utiles.

La norme interdit d’écrire un caractère avec plus d’octets que nécessaire : la barre oblique / (U+002F) doit s’écrire 2F, jamais C0 AF, une forme dite « trop longue ». Cette règle a une raison de sécurité, détaillée dans le coin cyber.

5.4UTF-16 et les paires de substitutionApprofondir

UTF-16 écrit directement les caractères du premier plan (U+0000 à U+FFFF) sur 16 bits : € donne 20AC. Pour les caractères situés au-delà, il utilise une paire de substitution (en anglais surrogate pair) : deux unités de 16 bits prises dans une zone réservée, de D800 à DFFF, qui ne contient aucun caractère. La méthode est la suivante : on retranche 10000 (en hexadécimal) au point de code, ce qui laisse un nombre de 20 bits ; les 10 bits de poids fort s’ajoutent à D800, les 10 bits de poids faible à DC00.

😀 = U+1F600
U+1F600 − 10000   = F600      = 0000 1111 0110 0000 0000   (20 bits)
10 bits de poids fort : 0000111101 = 03D  →  D800 + 03D = D83D
10 bits de poids faible : 1000000000 = 200  →  DC00 + 200 = DE00
résultat UTF-16 : D83D DE00
Figure 4. Le codage de l’émoji 😀 en UTF-16. Un programme qui compte les unités de 16 bits voit deux « caractères » là où il n’y en a qu’un.

Comme une unité de 16 bits occupe deux octets, UTF-16 pose la question du boutisme : faut-il écrire 20 AC ou AC 20 ? On distingue UTF-16BE (gros-boutiste) et UTF-16LE (petit-boutiste). Un fichier UTF-16 commence souvent par une marque d’ordre des octets (BOM, Byte Order Mark), le caractère U+FEFF : lu FE FF, le fichier est gros-boutiste ; lu FF FE, il est petit-boutiste.

5.5Un caractère, plusieurs écritures : la normalisationApprofondir

Unicode permet souvent d’écrire la même chose de plusieurs façons. La lettre é existe comme caractère unique (U+00E9), mais aussi comme la lettre e (U+0065) suivie d’un accent aigu dit combinant (U+0301), qui vient se placer sur la lettre précédente. À l’écran, les deux sont identiques ; pour un programme qui compare les octets, ils sont différents. Un nom de fichier, un identifiant ou un mot de passe saisi d’une façon peut alors ne pas correspondre au même texte saisi de l’autre.

Pour régler ce problème, Unicode définit des formes normalisées. La forme NFC (« composée ») utilise autant que possible les caractères précomposés comme U+00E9 ; la forme NFD (« décomposée ») sépare systématiquement lettres et accents. Les formes NFKC et NFKD vont plus loin et rapprochent des caractères seulement « compatibles », comme le chiffre 2 en exposant (²) et le chiffre 2 ordinaire. Avant de comparer ou de stocker du texte, un programme bien conçu le ramène à une forme normalisée unique, en général NFC.

5.6Qu’est-ce que la longueur d’un texte ?Approfondir

La question paraît simple, mais elle a plusieurs réponses. L’émoji 😀 occupe 4 octets en UTF-8, 2 unités de 16 bits en UTF-16 et correspond à un seul point de code. En JavaScript, qui compte en unités de 16 bits, "😀".length vaut donc 2. Certains émojis sont même composés de plusieurs points de code reliés par un caractère invisible, le liant sans chasse (U+200D) : l’émoji « famille » 👨‍👩‍👧 en assemble cinq. Ce que l’utilisateur perçoit comme un seul caractère s’appelle un graphème. Tronquer un texte au milieu d’un graphème produit des caractères cassés ; les bibliothèques modernes fournissent des fonctions pour découper correctement.

Pour s’exercer

Exercice 3 : encoder en UTF-8

Encodez ç (U+00E7) en UTF-8.

Voir la réponse

E7 vaut 11100111. Le point de code est inférieur à 7FF : deux octets. Sur 11 bits : 00011 100111. Dans le gabarit 110xxxxx 10xxxxxx : 11000011 10100111, soit C3 A7.

Exercice 4 : une paire de substitution

Le symbole musical de la clé de sol, 𝄞, porte le point de code U+1D11E. Comment s’écrit-il en UTF-16 ?

Voir la réponse

1D11E − 10000 = D11E, soit sur 20 bits 0000 1101 0001 0001 1110. Les 10 bits de poids fort, 0000110100, valent 34 : D800 + 34 = D834. Les 10 bits de poids faible, 0100011110, valent 11E : DC00 + 11E = DD1E. Résultat : D834 DD1E. En UTF-8, le même caractère s’écrit F0 9D 84 9E.

Exercice 5 : diagnostiquer un mojibake

Une page web affiche « Ã©té » et « Ã§a ». Que s’est-il passé, et que fallait-il lire ?

Voir la réponse

Le texte a été écrit en UTF-8 et lu en Windows-1252. « Ã© » correspond aux octets C3 A9, c’est-à-dire é ; « Ã§ » aux octets C3 A7, c’est-à-dire ç. Il fallait lire « été » et « ça ». La solution consiste à déclarer l’encodage UTF-8 dans la page et dans l’en-tête HTTP.

Exercice 6 : mesurer un texte

Combien d’octets occupe le texte « Noël 🎄 » en UTF-8 ? Combien de points de code contient-il, et que renvoie length en JavaScript ?

Voir la réponse

N, o, l et l’espace prennent 1 octet chacun, ë en prend 2 et le sapin 🎄 (U+1F384) en prend 4 : 10 octets. Le texte contient 6 points de code. JavaScript compte en unités de 16 bits, et le sapin en occupe deux : length renvoie 7.

Exercice 7 : le mystère du code 127

Pourquoi le caractère d’effacement porte-t-il le code 127, et pas un numéro proche des autres caractères de contrôle ?

Voir la réponse

127 s’écrit 1111111 : les sept bits valent 1. Sur une bande perforée, un 1 correspond à un trou. On ne peut pas reboucher un trou, mais on peut toujours en ajouter : perforer toutes les positions transformait n’importe quel caractère erroné en DEL, que les machines ignoraient.

6En pratique : éviter les caractères cassés

La quasi-totalité des problèmes d’accents vient d’un texte lu avec un autre encodage que celui de son écriture. La règle d’or tient en une phrase : utiliser UTF-8 partout et le déclarer explicitement.

  • Pages web. Déclarer l’encodage au tout début de la page avec <meta charset="utf-8"> (voir HTML), et dans l’en-tête HTTP Content-Type envoyé par le serveur.
  • Bases de données. Choisir un encodage qui couvre tout Unicode. Dans MySQL, le jeu nommé utf8 s’arrête historiquement aux caractères de 3 octets et refuse les émojis : il faut lui préférer utf8mb4.
  • Fichiers CSV. Excel ouvre souvent un fichier CSV en Windows-1252 s’il n’y trouve pas d’indication contraire. Une marque d’ordre des octets en début de fichier (en UTF-8, la séquence EF BB BF) l’aide à reconnaître l’UTF-8 ; ailleurs, cette marque est plutôt à éviter, car certains programmes la prennent pour du texte.
  • Éditeurs de texte. Régler l’éditeur pour enregistrer en UTF-8 et, pour le code partagé entre systèmes, choisir une convention de fin de ligne.
Sécurité de l’information

Le coin cyber

Les caractères forment une surface d’attaque méconnue : ce que l’œil voit n’est pas toujours ce que la machine lit. Les attaquants exploitent cet écart pour tromper les personnes comme les programmes.

C.1Les homoglyphes et les faux noms de domaine

Depuis le début des années 2000, les noms de domaine peuvent contenir des lettres accentuées ou non latines : ce sont les noms de domaine internationalisés (IDN, Internationalized Domain Names). Comme le système des noms de domaine ne connaît que l’ASCII, ces noms sont convertis en interne avec le Punycode, qui produit des adresses commençant par xn--. Le navigateur affiche ensuite la forme lisible.

Or de nombreux caractères se ressemblent au point d’être indiscernables : ce sont des homoglyphes. Le « а » cyrillique (U+0430) et le « a » latin (U+0061) ont le même dessin dans la plupart des polices. En avril 2017, le chercheur Xudong Zheng a enregistré le domaine xn--80ak6aa92e.com, écrit uniquement avec des lettres cyrilliques : Chrome et Firefox l’affichaient « аррӏе.com », impossible à distinguer d’apple.com. Les navigateurs ont depuis durci leurs règles et affichent la forme xn-- lorsqu’un nom paraît trompeur, mais l’hameçonnage par domaines sosies reste courant, avec des variantes plus simples comme « rn » à la place de « m ».

C.2Les caractères invisibles ou trompeurs

L’inversion du sens d’écriture

Pour écrire l’arabe ou l’hébreu, Unicode prévoit des caractères de contrôle qui inversent le sens d’affichage. Insérés dans un nom de fichier, ils peuvent faire apparaître le fichier vacances[U+202E]gpj.exe (U+202E désigne ici le caractère invisible) sous la forme « vacancesexe.jpg » : un programme se fait passer pour une photo.

Le code source piégé

En 2021, deux chercheurs de l’université de Cambridge, Nicholas Boucher et Ross Anderson, ont montré que ces mêmes caractères permettaient d’écrire du code dont l’affichage diffère de ce que le compilateur exécute réellement. Une ligne qui semble être un commentaire peut être du code actif. Baptisée Trojan Source, l’attaque est recensée sous la référence CVE-2021-42574 (CVE, Common Vulnerabilities and Exposures, est le catalogue public des failles) ; compilateurs et forges logicielles affichent désormais des avertissements.

Les caractères sans largeur

Des caractères invisibles, comme l’espace sans chasse (U+200B), peuvent couper un mot pour échapper à un filtre (« pay[U+200B]pal ») ou marquer discrètement un document pour identifier la personne qui l’a fait fuiter.

C.3Décoder avant de vérifier

En octobre 2000, Microsoft a corrigé une faille célèbre de son serveur web IIS (bulletin MS00-078, référence CVE-2000-0884). Le serveur vérifiait qu’une adresse demandée ne contenait pas la séquence ../, qui permet de remonter dans l’arborescence des dossiers. Mais il effectuait cette vérification avant de décoder certaines formes « trop longues » d’UTF-8 (section 5.3). Une barre oblique écrite d’une manière non standard passait le contrôle, puis redevenait une vraie barre oblique : des attaquants pouvaient ainsi lire des fichiers hors du site, voire exécuter des commandes. La norme UTF-8 actuelle (RFC 3629, 2003) interdit ces formes, et les décodeurs doivent les rejeter.

La leçon, toujours valable : il faut d’abord ramener une donnée à sa forme canonique, c’est-à-dire la décoder et la normaliser, puis seulement la valider. Faire l’inverse laisse passer ce que le contrôle n’a pas reconnu.

C.4Bonnes pratiques

Particulier

  • Utiliser un gestionnaire de mots de passe : il ne propose pas de remplir le formulaire d’un domaine sosie, ce qui constitue une excellente alerte.
  • Accéder aux sites sensibles par ses favoris ou en tapant soi-même l’adresse, plutôt que par un lien reçu.
  • Afficher les extensions de fichiers et se méfier d’un nom qui contient une extension au milieu.

Organisation

  • Normaliser (NFC ou NFKC) puis valider toutes les entrées ; comparer les identifiants après normalisation.
  • Rejeter les caractères de contrôle bidirectionnels dans le code source et activer les alertes des compilateurs et de la forge.
  • Neutraliser les caractères de contrôle avant d’écrire dans les journaux.
  • Surveiller l’enregistrement de domaines ressemblant à ceux de l’organisation, et les certificats émis à leur nom.
  • Déclarer UTF-8 partout : pages web, en-têtes HTTP, bases de données, échanges entre applications.

Référentiels : Unicode Technical Standard #39, Unicode Security Mechanisms · Unicode Technical Report #36, Unicode Security Considerations · RFC 3629 (UTF-8) · MITRE, CWE-176 (mauvaise gestion de l’encodage Unicode), CWE-180 (validation avant mise en forme canonique) et CWE-117 (neutralisation incorrecte des journaux).

Références

  1. American Standards Association, American Standard Code for Information Interchange, X3.4-1963, 1963 ; révision USAS X3.4-1967.
  2. ISO/IEC 8859-1:1998, Jeux de caractères graphiques codés sur un seul octet. Partie 1 : alphabet latin n° 1 ; ISO/IEC 8859-15:1999, partie 15 : alphabet latin n° 9.
  3. The Unicode Consortium, The Unicode Standard, Version 18.0.0, 2026.
  4. ISO/IEC 10646, Technologies de l’information. Jeu universel de caractères codés (JUC).
  5. Yergeau F., RFC 3629, UTF-8, a transformation format of ISO 10646, IETF, 2003 ; Hoffman P., Yergeau F., RFC 2781, UTF-16, an encoding of ISO 10646, 2000.
  6. Pike R., « UTF-8 history », courriel du 30 avril 2003.
  7. Chambre des représentants des États-Unis, résolution H.Res. 269 sur Antonio Meucci, 11 juin 2002.
  8. Davis M., Suignard M., Unicode Technical Standard #39: Unicode Security Mechanisms ; Unicode Technical Report #36: Unicode Security Considerations.
  9. Zheng X., « Phishing with Unicode Domains », 14 avril 2017.
  10. Boucher N., Anderson R., « Trojan Source: Invisible Vulnerabilities », USENIX Security Symposium, 2023 ; trojansource.codes.
  11. Microsoft, bulletin de sécurité MS00-078, Web Server Folder Traversal Vulnerability, octobre 2000 (CVE-2000-0884).
  12. W3Techs, Usage statistics of character encodings for websites, consulté le 21 octobre 2026.

Voir aussi

Citer cet article

« Le codage des caractères : ASCII et Unicode », Encyclopédie informatique, révision du 22 octobre 2026.