Le codage des caractères : ASCII et Unicode
Partie 2 sur 2
4Les codages sur 8 bits, une tour de Babel
Mis au point pour la langue anglaise, l’ASCII ne connaît ni les accents, ni le ç, ni le symbole €, ni aucun alphabet autre que l’alphabet latin sans diacritiques. Comme les ordinateurs manipulaient des octets de 8 bits, il restait un bit libre, donc 128 places supplémentaires (de 128 à 255). Chacun les a remplies à sa façon. On parle couramment d’« ASCII étendu », mais il n’existe pas un ASCII étendu : il en existe des dizaines de variantes incompatibles, qui dépendent fortement de la plateforme utilisée. On les appelle des pages de codes.
- La page de codes 437 de l’IBM PC (1981) contenait des lettres accentuées, des lettres grecques et des caractères de dessin de cadres, très utilisés par les programmes en mode texte de l’époque. Sa variante pour l’Europe de l’Ouest porte le numéro 850.
- La famille de normes ISO 8859, publiée à partir de 1987 par l’Organisation internationale de normalisation (ISO), propose une variante par groupe de langues : ISO 8859-1, dite Latin-1, pour l’Europe de l’Ouest ; ISO 8859-5 pour le cyrillique ; ISO 8859-7 pour le grec, etc.
- Windows-1252, le codage de Microsoft pour les langues occidentales, reprend Latin-1 en ajoutant dans des positions laissées libres les guillemets typographiques, le œ et le symbole €.
- Les grands systèmes d’IBM utilisent depuis les années 1960 un code sur 8 bits entièrement différent, l’EBCDIC (Extended Binary Coded Decimal Interchange Code), incompatible avec l’ASCII. Bien que largement répandu sur les machines IBM, il n’a jamais connu le succès de l’ASCII ; les banques et les assurances l’utilisent encore sur leurs ordinateurs centraux.
Windows a gardé de cette époque deux appellations trompeuses. La page de codes OEM (Original Equipment Manufacturer, « fabricant d’origine ») est celle de l’IBM PC, toujours utilisée par la console : 437 aux États-Unis, 850 en Europe de l’Ouest. La page de codes ANSI est celle des applications graphiques, Windows-1252 en Europe de l’Ouest ; elle doit son nom à un projet de norme de l’ANSI (American National Standards Institute, l’institut américain de normalisation), mais n’a jamais été une norme ANSI. Un fichier écrit dans la console et ouvert dans le Bloc-notes, ou l’inverse, voit ainsi ses accents changer.
Le problème est qu’un fichier ne dit pas toujours dans quel codage il a été écrit. Le même octet E9 désigne « é » en Latin-1, « й » dans la page de codes cyrillique de Windows (Windows-1251) et « Θ » dans la page de codes 437 de l’IBM PC. Les langues comme le chinois ou le japonais, qui comptent des milliers de caractères, exigeaient en outre des codages sur plusieurs octets, eux-mêmes multiples et concurrents.
4.1Un octet, plusieurs lecturesApprofondir
| Octet | Page 437 (IBM PC) | ISO 8859-1 (Latin-1) | Windows-1252 | ISO 8859-15 (Latin-9) |
|---|---|---|---|---|
80 | Ç | contrôle | € | contrôle |
82 | é | contrôle | ‚ (guillemet bas) | contrôle |
85 | à | contrôle | … (points de suspension) | contrôle |
9C | £ | contrôle | œ | contrôle |
A4 | ñ | ¤ (symbole monétaire) | ¤ | € |
BD | ╜ (cadre) | ½ | ½ | œ |
C9 | ╔ (cadre) | É | É | É |
E9 | Θ | é | é | é |
Le tableau montre que le € n’occupe pas la même place en Windows-1252 (80) et en Latin-9 (A4), et qu’un texte français écrit sous MS-DOS (page 437) devient illisible dans n’importe quel codage ISO.
Quand un texte est lu avec un autre codage que celui qui a servi à l’écrire, il devient illisible. Les Japonais, très exposés au phénomène, lui ont donné un nom, devenu international : mojibake (文字化け, littéralement « caractères transformés »).
5Unicode, un catalogue pour toutes les écritures
5.1Le principe
À la fin des années 1980, des ingénieurs de Xerox et d’Apple proposent de remplacer cette mosaïque par un catalogue unique, dans lequel chaque caractère de chaque écriture aurait un numéro et un seul, indépendamment de tout système d’exploitation et de tout langage de programmation. Le Consortium Unicode, fondé en 1991, publie la même année la première version d’Unicode. La norme est tenue en parfait accord avec la norme internationale ISO/IEC 10646, qui définit le même répertoire. Elle regroupe la quasi-totalité des écritures existantes : latine, grecque, cyrillique, arménienne, hébraïque, arabe, indiennes, chinoise, japonaise, coréenne, et bien d’autres.
Chaque caractère reçoit un numéro, le point de code, que l’on écrit « U+ » suivi de quatre à six chiffres hexadécimaux : U+0041 pour A, U+00E9 pour é, U+20AC pour €, U+4E2D pour l’idéogramme chinois 中 (« milieu »), U+1F600 pour l’émoji 😀. Unicode est compatible avec l’ASCII : ses 128 premiers points de code reprennent exactement l’ASCII, et les 256 premiers reprennent Latin-1.
On lit encore qu’Unicode est un code « sur 16 bits ». C’était vrai de la première version, qui comptait sur 65 536 places. Elles se sont révélées insuffisantes : depuis la version 2.0, en 1996, l’espace disponible compte 1 114 112 positions, de U+0000 à U+10FFFF, réparties en 17 plans de 65 536 positions. Le premier, le plan multilingue de base, contient presque tous les caractères des langues vivantes. Les autres accueillent les écritures historiques, les symboles mathématiques, les idéogrammes rares et les émojis. La version 18.0, publiée le 16 septembre 2026, ajoute 13 007 caractères, dont trois écritures anciennes, et porte le total à 172 808 caractères. Il reste donc beaucoup de place libre.
Unicode ne s’occupe pas de l’apparence des caractères : il les décrit. C’est pourquoi un même émoji n’a pas tout à fait le même dessin sur un téléphone Android et sur un iPhone. Unicode décrit en revanche leurs propriétés : majuscule ou minuscule, chiffre, sens de l’écriture (de gauche à droite, ou de droite à gauche comme l’arabe et l’hébreu), règles de tri et de découpage en mots.
5.2UTF-8 et les autres encodages d’Unicode
Unicode définit plusieurs manières d’écrire un point de code en octets. UTF-32 utilise toujours 4 octets par caractère : c’est simple, mais coûteux. UTF-16 utilise 2 octets pour les caractères du premier plan et 4 pour les autres ; il sert de format interne à Windows, à Java et à JavaScript. UTF-8, enfin, utilise de 1 à 4 octets selon le caractère : c’est l’encodage du Web, des systèmes de type Unix et de la plupart des fichiers texte.
| Points de code | Octets | Forme binaire | Exemples |
|---|---|---|---|
| U+0000 à U+007F | 1 | 0xxxxxxx | A → 41 |
| U+0080 à U+07FF | 2 | 110xxxxx 10xxxxxx | é → C3 A9 |
| U+0800 à U+FFFF | 3 | 1110xxxx 10xxxxxx 10xxxxxx | € → E2 82 AC中 → E4 B8 AD |
| U+10000 à U+10FFFF | 4 | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx | 😀 → F0 9F 98 80 |
Ce schéma, conçu en 1992 par Ken Thompson et Rob Pike, deux chercheurs des laboratoires Bell, a trois qualités décisives. Il est compatible avec l’ASCII : un texte anglais en ASCII est déjà un texte UTF-8 valide, octet pour octet. Il est auto-synchronisant : les octets de continuation commencent toujours par 10, si bien qu’un programme qui tombe au milieu d’un texte retrouve immédiatement le début du caractère suivant. Il évite enfin toute question d’ordre des octets, qui complique UTF-16. En octobre 2026, selon le service de mesure W3Techs, 99,1 % des sites web dont l’encodage est connu utilisent UTF-8.
5.3UTF-8, bit à bitApprofondir
Pour encoder un caractère, on écrit son point de code en binaire, on choisit la ligne du Tableau 4 selon sa valeur, puis on répartit ses bits dans les x, en partant de la droite. Voici deux exemples complets.
é = U+00E9 = 1110 1001 en binaire (≤ 7FF : 2 octets, 11 bits utiles) 11 bits : 00011 101001 gabarit : 110xxxxx 10xxxxxx résultat : 11000011 10101001 = C3 A9 € = U+20AC = 0010 0000 1010 1100 (≤ FFFF : 3 octets, 16 bits utiles) 16 bits : 0010 000010 101100 gabarit : 1110xxxx 10xxxxxx 10xxxxxx résultat : 11100010 10000010 10101100 = E2 82 AC
La norme interdit d’écrire un caractère avec plus d’octets que nécessaire : la barre oblique / (U+002F) doit s’écrire 2F, jamais C0 AF, une forme dite « trop longue ». Cette règle a une raison de sécurité, détaillée dans le coin cyber.
5.4UTF-16 et les paires de substitutionApprofondir
UTF-16 écrit directement les caractères du premier plan (U+0000 à U+FFFF) sur 16 bits : € donne 20AC. Pour les caractères situés au-delà, il utilise une paire de substitution (en anglais surrogate pair) : deux unités de 16 bits prises dans une zone réservée, de D800 à DFFF, qui ne contient aucun caractère. La méthode est la suivante : on retranche 10000 (en hexadécimal) au point de code, ce qui laisse un nombre de 20 bits ; les 10 bits de poids fort s’ajoutent à D800, les 10 bits de poids faible à DC00.
😀 = U+1F600 U+1F600 − 10000 = F600 = 0000 1111 0110 0000 0000 (20 bits) 10 bits de poids fort : 0000111101 = 03D → D800 + 03D = D83D 10 bits de poids faible : 1000000000 = 200 → DC00 + 200 = DE00 résultat UTF-16 : D83D DE00
Comme une unité de 16 bits occupe deux octets, UTF-16 pose la question du boutisme : faut-il écrire 20 AC ou AC 20 ? On distingue UTF-16BE (gros-boutiste) et UTF-16LE (petit-boutiste). Un fichier UTF-16 commence souvent par une marque d’ordre des octets (BOM, Byte Order Mark), le caractère U+FEFF : lu FE FF, le fichier est gros-boutiste ; lu FF FE, il est petit-boutiste.
5.5Un caractère, plusieurs écritures : la normalisationApprofondir
Unicode permet souvent d’écrire la même chose de plusieurs façons. La lettre é existe comme caractère unique (U+00E9), mais aussi comme la lettre e (U+0065) suivie d’un accent aigu dit combinant (U+0301), qui vient se placer sur la lettre précédente. À l’écran, les deux sont identiques ; pour un programme qui compare les octets, ils sont différents. Un nom de fichier, un identifiant ou un mot de passe saisi d’une façon peut alors ne pas correspondre au même texte saisi de l’autre.
Pour régler ce problème, Unicode définit des formes normalisées. La forme NFC (« composée ») utilise autant que possible les caractères précomposés comme U+00E9 ; la forme NFD (« décomposée ») sépare systématiquement lettres et accents. Les formes NFKC et NFKD vont plus loin et rapprochent des caractères seulement « compatibles », comme le chiffre 2 en exposant (²) et le chiffre 2 ordinaire. Avant de comparer ou de stocker du texte, un programme bien conçu le ramène à une forme normalisée unique, en général NFC.
5.6Qu’est-ce que la longueur d’un texte ?Approfondir
La question paraît simple, mais elle a plusieurs réponses. L’émoji 😀 occupe 4 octets en UTF-8, 2 unités de 16 bits en UTF-16 et correspond à un seul point de code. En JavaScript, qui compte en unités de 16 bits, "😀".length vaut donc 2. Certains émojis sont même composés de plusieurs points de code reliés par un caractère invisible, le liant sans chasse (U+200D) : l’émoji « famille » 👨👩👧 en assemble cinq. Ce que l’utilisateur perçoit comme un seul caractère s’appelle un graphème. Tronquer un texte au milieu d’un graphème produit des caractères cassés ; les bibliothèques modernes fournissent des fonctions pour découper correctement.
Pour s’exercer
Exercice 3 : encoder en UTF-8
Encodez ç (U+00E7) en UTF-8.
Voir la réponse
E7 vaut 11100111. Le point de code est inférieur à 7FF : deux octets. Sur 11 bits : 00011 100111. Dans le gabarit 110xxxxx 10xxxxxx : 11000011 10100111, soit C3 A7.
Exercice 4 : une paire de substitution
Le symbole musical de la clé de sol, 𝄞, porte le point de code U+1D11E. Comment s’écrit-il en UTF-16 ?
Voir la réponse
1D11E − 10000 = D11E, soit sur 20 bits 0000 1101 0001 0001 1110. Les 10 bits de poids fort, 0000110100, valent 34 : D800 + 34 = D834. Les 10 bits de poids faible, 0100011110, valent 11E : DC00 + 11E = DD1E. Résultat : D834 DD1E. En UTF-8, le même caractère s’écrit F0 9D 84 9E.
Exercice 5 : diagnostiquer un mojibake
Une page web affiche « été » et « ça ». Que s’est-il passé, et que fallait-il lire ?
Voir la réponse
Le texte a été écrit en UTF-8 et lu en Windows-1252. « é » correspond aux octets C3 A9, c’est-à-dire é ; « ç » aux octets C3 A7, c’est-à-dire ç. Il fallait lire « été » et « ça ». La solution consiste à déclarer l’encodage UTF-8 dans la page et dans l’en-tête HTTP.
Exercice 6 : mesurer un texte
Combien d’octets occupe le texte « Noël 🎄 » en UTF-8 ? Combien de points de code contient-il, et que renvoie length en JavaScript ?
Voir la réponse
N, o, l et l’espace prennent 1 octet chacun, ë en prend 2 et le sapin 🎄 (U+1F384) en prend 4 : 10 octets. Le texte contient 6 points de code. JavaScript compte en unités de 16 bits, et le sapin en occupe deux : length renvoie 7.
Exercice 7 : le mystère du code 127
Pourquoi le caractère d’effacement porte-t-il le code 127, et pas un numéro proche des autres caractères de contrôle ?
Voir la réponse
127 s’écrit 1111111 : les sept bits valent 1. Sur une bande perforée, un 1 correspond à un trou. On ne peut pas reboucher un trou, mais on peut toujours en ajouter : perforer toutes les positions transformait n’importe quel caractère erroné en DEL, que les machines ignoraient.
6En pratique : éviter les caractères cassés
La quasi-totalité des problèmes d’accents vient d’un texte lu avec un autre encodage que celui de son écriture. La règle d’or tient en une phrase : utiliser UTF-8 partout et le déclarer explicitement.
- Pages web. Déclarer l’encodage au tout début de la page avec
<meta charset="utf-8">(voir HTML), et dans l’en-tête HTTPContent-Typeenvoyé par le serveur. - Bases de données. Choisir un encodage qui couvre tout Unicode. Dans MySQL, le jeu nommé
utf8s’arrête historiquement aux caractères de 3 octets et refuse les émojis : il faut lui préférerutf8mb4. - Fichiers CSV. Excel ouvre souvent un fichier CSV en Windows-1252 s’il n’y trouve pas d’indication contraire. Une marque d’ordre des octets en début de fichier (en UTF-8, la séquence
EF BB BF) l’aide à reconnaître l’UTF-8 ; ailleurs, cette marque est plutôt à éviter, car certains programmes la prennent pour du texte. - Éditeurs de texte. Régler l’éditeur pour enregistrer en UTF-8 et, pour le code partagé entre systèmes, choisir une convention de fin de ligne.