L'observabilité : journaux, métriques et traces
Partie 2 sur 4
3Les métriques : des mesures dans le temps
Une métrique est une mesure chiffrée, relevée à intervalles réguliers (par exemple toutes les 15 secondes) et conservée avec sa date. La suite de ces relevés s’appelle une série temporelle. Elle répond à la question : est-ce que ça va mal, et depuis quand ? Contrairement aux journaux, les métriques sont compactes : un nombre par intervalle, quel que soit le nombre de requêtes réellement traitées. On peut donc les garder longtemps, les représenter en graphiques, et surtout les comparer à des seuils pour déclencher des alertes.
3.1Les trois formes de métriques
La plupart des systèmes (Prometheus, OpenTelemetry…) distinguent trois formes de base :
- le compteur : un nombre qui ne fait qu’augmenter (nombre total de requêtes reçues depuis le démarrage, nombre d’erreurs). Ce qui intéresse n’est pas sa valeur absolue mais sa vitesse : combien de requêtes par seconde ?
- la jauge : un nombre qui monte et descend (mémoire utilisée, nombre de connexions ouvertes, taille d’une file d’attente) ;
- l’histogramme : une répartition de mesures dans des tranches (combien de requêtes ont pris moins de 100 millisecondes, entre 100 et 500, plus de 500 ?). C’est la bonne forme pour les durées.
3.2Pourquoi la moyenne ment
Pour mesurer le temps de réponse d’un site, la tentation est de calculer la moyenne. C’est presque toujours une erreur. Imaginez 99 requêtes servies en 100 millisecondes et une en 10 secondes : la moyenne vaut environ 200 millisecondes, ce qui paraît correct, alors qu’un utilisateur sur cent a attendu dix secondes. On préfère les percentiles : le percentile 95 (noté p95) est la valeur sous laquelle se trouvent 95 % des mesures ; le p99, celle sous laquelle se trouvent 99 % d’entre elles. Un p99 de 10 secondes dit crûment que un utilisateur sur cent attend dix secondes. Les percentiles se calculent à partir d’histogrammes. Un point subtil : on ne peut pas faire la moyenne de percentiles de plusieurs machines pour obtenir le percentile global ; il faut additionner les histogrammes, puis calculer.
3.3Les étiquettes et le piège de la cardinalité
Une métrique porte des étiquettes (labels), des couples nom-valeur qui permettent de la découper : requetes_total{service="paiement", code="500"} compte les requêtes en erreur du service de paiement. C’est très puissant : on peut ensuite additionner par service, par code de réponse, par région. Mais chaque combinaison de valeurs d’étiquettes crée une série temporelle distincte à stocker. Le nombre de valeurs possibles d’une étiquette s’appelle sa cardinalité. Une étiquette code a quelques dizaines de valeurs : sans risque. Une étiquette utilisateur ou adresse_ip en a des millions : elle multiplie les séries, fait grimper la mémoire du serveur de métriques et peut le faire tomber. Règle : jamais d’identifiant à valeurs illimitées dans une étiquette ; ces détails vont dans les journaux ou les traces.
3.4Aller chercher ou recevoir : deux manières de collecter
Dans l’approche popularisée par Prometheus (un outil libre de surveillance par métriques, né dans l’entreprise SoundCloud puis donné à une fondation indépendante), chaque programme expose ses métriques sur une page web interne, et un serveur central vient les chercher à intervalles réguliers (on dit « scraper »). L’avantage : si un programme ne répond pas, le serveur le sait tout de suite. D’autres systèmes fonctionnent à l’inverse : le programme envoie ses mesures à un collecteur. Les deux approches coexistent, et le collecteur d’OpenTelemetry sait faire les deux.
3.5Les métriques de base de toute machine
Avant de s’intéresser aux métriques du métier, on suit toujours les ressources de chaque machine ou conteneur : utilisation du processeur, de la mémoire (voir la mémoire), du disque (espace libre et débit), du réseau (voir la supervision réseau). Ce sont les héritiers directs des sondes d’autrefois : toujours utiles, mais seulement un élément de la photographie.
Pour s’exercer
Exercice 2 : la moyenne trompeuse
Sur 100 requêtes, 98 durent 100 ms et 2 durent 5 000 ms. Calculez la moyenne. Que vaut le p99 ? Que concluez-vous ?
Voir la réponse
La somme vaut 98 × 100 + 2 × 5 000 = 9 800 + 10 000 = 19 800 ms ; la moyenne est 198 ms, ce qui paraît correct. Mais 2 % des requêtes durent 5 secondes : le percentile 99 est de 5 000 ms (au-delà du 98e, on tombe sur les lentes). La moyenne cache le problème que vit un utilisateur sur cinquante ; les percentiles le révèlent.
Exercice 3 : un budget d’erreur
Un service s’engage à 99,9 % de requêtes réussies sur 30 jours. Il reçoit en moyenne 5 millions de requêtes par jour. Combien de requêtes en échec peut-il se permettre ? Au 10e jour, il en a eu 60 000 : où en est-il ?
Voir la réponse
Sur 30 jours : 5 × 30 = 150 millions de requêtes. Le budget est 0,1 % de 150 millions = 150 000 échecs. Au 10e jour, 60 000 échecs représentent 40 % du budget consommé en un tiers de la période : le rythme est supérieur au rythme nominal (33 %). Il faut regarder la cause et ralentir les changements risqués. Si l’on gardait ce rythme, le budget serait épuisé au 25e jour (60 000 / 10 jours × 25 jours = 150 000).
Exercice 4 : la cardinalité
Un développeur ajoute à une métrique d’erreurs une étiquette adresse_ip. Le site reçoit des visiteurs de 200 000 adresses différentes et la métrique a 5 codes de réponse. Combien de séries peut-elle créer ? Que lui conseillez-vous ?
Voir la réponse
Jusqu’à 200 000 × 5 = 1 000 000 de séries, pour une seule métrique, ce qui peut saturer la mémoire du serveur de métriques. Il faut retirer cette étiquette (valeurs illimitées) et mettre l’adresse dans le journal ou dans un attribut de trace, où chaque événement est stocké une fois.
Exercice 5 : trier les alertes
On vous propose quatre alertes : (a) « le processeur du serveur 12 dépasse 80 % » ; (b) « plus de 3 % de paiements en erreur depuis 5 minutes » ; (c) « le certificat du site expire dans 10 jours » ; (d) « le budget d’erreur mensuel a consommé 50 % en 24 heures ». Lesquelles réveillent quelqu’un la nuit ?
Voir la réponse
(b) et (d) : elles décrivent un symptôme ressenti par les utilisateurs, ou un budget qui fond très vite ; elles sont importantes et actionnables. (a) est une cause possible sans effet démontré : une information, pas un réveil. (c) est importante mais pas urgente : un message ordinaire qui part en journée, avec une échéance. Mal trier ces alertes fatigue l’équipe.
4Les traces : le voyage d’une requête
Un journal est écrit service par service, une métrique agrège des milliers de requêtes en un nombre. Aucun ne répond directement à : pour cette requête-là, qui a pris du temps, et où ? C’est le rôle de la trace distribuée (distributed trace). Une trace représente le parcours complet d’une seule requête à travers tous les services qu’elle touche, sous forme d’une arborescence d’étapes appelées spans (littéralement « portées » ou « tronçons »).
4.1Anatomie d’un span
Chaque span décrit une opération : son nom (« appeler la banque »), l’heure de début, sa durée, son résultat (réussi ou en erreur), quelques attributs (le code de réponse, le nom de la base interrogée) et un lien vers son span parent (celui qui l’a déclenché). L’ensemble des spans qui ont le même identifiant de trace forme la trace. Sur la figure 2, la barre du haut est le span du portail qui reçoit la demande ; en dessous, chaque appel est dessiné en retrait, et sa longueur montre sa durée. On voit au premier coup d’œil que l’appel à la banque dure 220 millisecondes sur 480 : la lenteur ne vient pas du code du site, mais d’un partenaire.
4.2Comment l’identifiant voyage
Pour que les services d’une même requête se reconnaissent, l’identifiant de trace doit être transmis de l’un à l’autre. Le service qui reçoit la requête le crée (ou le lit s’il existe déjà) et l’ajoute aux en-têtes des appels qu’il émet vers d’autres services. Une norme du consortium qui définit les standards du Web (le W3C) fixe la forme de cet en-tête : il s’appelle traceparent et contient l’identifiant de la trace, celui du span courant et un indicateur. Grâce à la norme, des services écrits dans des langages différents, par des équipes différentes, s’entendent. Ce travail de transmission, appelé propagation du contexte, est la condition essentielle : si un seul maillon ne recopie pas l’en-tête, la trace est coupée en deux.
4.3Échantillonner : on ne garde pas tout
Une trace complète est volumineuse, et un service très sollicité traite des millions de requêtes par heure. Conserver toutes les traces coûterait plus cher que le service lui-même. On pratique donc l’échantillonnage (sampling) : on n’en garde qu’une partie. Deux stratégies :
- l’échantillonnage à l’entrée (head sampling) : on décide au tout début de la requête, par exemple une sur cent, au hasard. C’est simple et peu coûteux, mais on risque de rater justement la requête rare qui a échoué ;
- l’échantillonnage en fin de course (tail sampling) : on garde provisoirement toutes les traces, et l’on conserve à la fin celles qui sont intéressantes (erreurs, requêtes lentes) plus un petit échantillon des autres. C’est plus utile, mais demande plus de ressources et de mémoire dans le collecteur.
La stratégie courante combine les deux : on garde toutes les traces en erreur ou anormalement lentes, et une proportion des traces normales pour connaître le comportement courant.
4.4Instrumenter : à la main ou automatiquement
Produire des spans demande d’instrumenter le code. Deux voies existent : l’instrumentation automatique, où une bibliothèque s’accroche aux composants courants (serveur web, client de base de données, appels réseau) et crée les spans sans modifier le code ; l’instrumentation manuelle, où le développeur ajoute des spans autour des opérations propres à son métier (« calculer le panier », « valider la commande »). Pour démarrer, l’automatique donne vite une vue d’ensemble ; le manuel apporte le sens métier.
Pour s’exercer
Exercice 6 : lire une trace
Une trace de 480 ms contient : portail (480 ms au total), commande (420 ms, dans le portail), stock (90 ms, dans la commande), paiement (270 ms, dans la commande), banque (220 ms, dans le paiement). Quelle part du temps total revient à la banque ? Que peut-on améliorer, et que ne peut-on pas ?
Voir la réponse
220 / 480 ≈ 46 % du temps total. Le service de paiement lui-même n’utilise que 270 − 220 = 50 ms en propre. La banque est un service externe : on ne peut pas accélérer son code, mais on peut fixer un délai maximal, relancer intelligemment, ou appeler la banque en parallèle d’autres opérations quand c’est possible (le stock et le paiement, ici, se suivent mais pourraient être préparés ensemble). L’essentiel est que la trace a désigné l’étape en quelques secondes.