La haute disponibilité
Partie 5 sur 5
11Concevoir un système qui accepte la panne
La redondance du matériel ne suffit pas : les applications doivent elles-mêmes se comporter intelligemment face à une panne partielle. Voici les principes de conception les plus utiles.
11.1Délais maximaux et nouvelles tentatives raisonnables
Un appel à un service distant doit toujours avoir un délai maximal (timeout) : sans lui, un client attend indéfiniment une réponse qui ne viendra pas et bloque ses propres ressources. Quand un appel échoue, il est tentant de le retenter, ce qui est bon pour les pannes passagères. Mais si des milliers de clients retentent en même temps vers un service déjà en difficulté, ils l’achèvent : c’est la « tempête de nouvelles tentatives ». On limite donc le nombre d’essais, on espace les essais de façon croissante (backoff exponentiel : 1 s, 2 s, 4 s…) avec un peu de hasard pour que les clients ne se synchronisent pas.
11.2Le disjoncteur
Le disjoncteur (circuit breaker) s’inspire de celui d’une installation électrique : quand un service appelé échoue trop souvent, le client cesse de l’appeler pendant un moment et répond tout de suite par une erreur ou une valeur de repli, au lieu d’attendre. Il en teste de temps en temps la remise en état. Cela protège le client d’attentes inutiles et le service en difficulté d’une surcharge supplémentaire, et coupe la cascade.
11.3La dégradation gracieuse
Mieux vaut un service amoindri qu’un service arrêté : c’est la dégradation gracieuse (graceful degradation). Si le moteur de recommandations d’une boutique en ligne est en panne, la boutique affiche une liste générique de produits ; si le service de photos de profil est lent, on affiche une image par défaut ; si la base d’écriture est indisponible, on peut laisser consulter sans permettre de modifier. Cette façon de penser consiste à classer les fonctions en « vitales » et « confortables », et à décider à l’avance ce que l’on sacrifie en cas de crise.
11.4Opérations idempotentes et files d’attente
Une opération est dite idempotente si la répéter plusieurs fois a le même effet que la faire une seule fois (« mettre le statut à payé » l’est, « ajouter 10 euros au solde » ne l’est pas). Dans un système réparti, les messages peuvent être livrés en double après une panne ; il faut que ce soit sans conséquence. De même, les files d’attente permettent à un service de recevoir du travail même quand celui qui doit le traiter est momentanément arrêté : les demandes attendent leur tour au lieu d’être perdues.
11.5Déployer sans casser
Puisque les changements sont une cause majeure de panne, on les rend plus sûrs : déploiements progressifs (d’abord sur un petit pourcentage des serveurs ou des utilisateurs, puis de plus en plus), retour arrière rapide, indicateurs surveillés automatiquement pendant le déploiement, mises à jour d’une zone à la fois, pas toutes les zones d’un coup. Les mises à jour sans interruption (rolling updates) remplacent les serveurs un par un derrière le répartiteur, sans jamais en retirer plus qu’il n’en faut.
11.6Tester la panne : l’ingénierie du chaos
La seule manière d’être certain qu’un système tient face à une panne est de la provoquer. L’ingénierie du chaos (chaos engineering) consiste à injecter volontairement des pannes (arrêter un serveur, couper un lien, ralentir un service) pour vérifier que le système réagit comme prévu, d’abord dans des environnements de test, puis, avec prudence, en production. On commence par poser une hypothèse (« si ce serveur s’arrête, les utilisateurs ne remarquent rien »), on l’éprouve, on corrige ce qui a cédé. Les « journées de jeu » (game days) rassemblent les équipes pour simuler un sinistre en conditions réelles. Elles révèlent des défauts d’organisation autant que de technique : qui prévenir, qui décide, où se trouve la fiche de procédure.
11.7Voir pour réagir
La haute disponibilité suppose de savoir ce qui se passe : sans mesure, on ne sait ni qu’un doublon est déjà tombé (et que l’on fonctionne donc sans filet), ni que le basculement a eu lieu. La supervision et l’observabilité (voir l’observabilité) fournissent les alertes sur les symptômes que vivent les utilisateurs, et les objectifs de service (SLO) qui permettent de décider à quel niveau de disponibilité on vise. Un cluster dont un nœud est en panne depuis trois semaines sans que personne ne le sache n’est plus hautement disponible : il est à une panne de l’arrêt.
12Combien ça coûte, et quel niveau choisir ?
La haute disponibilité a un prix : matériel et logiciels doublés ou triplés, réseaux plus complexes, compétences, tests, astreintes, temps de conception. Le coût monte plus vite que la disponibilité. D’où la démarche de bon sens :
- Chiffrer le coût d’un arrêt : perte de ventes, d’image, de productivité, pénalités, risques pour les personnes. Ce chiffre varie énormément d’un service à l’autre.
- En déduire un objectif (disponibilité visée, RTO, RPO) par service, pas pour tout le système d’information. Beaucoup de systèmes internes se contentent d’un niveau de 99 % ou 99,5 %.
- Choisir les moyens les moins chers qui atteignent l’objectif : de bonnes pratiques et une réparation rapide avant tout, puis de la redondance là où elle rapporte le plus (les points de défaillance uniques les plus critiques), puis les sites multiples.
- Mesurer la disponibilité réelle et comparer à l’objectif ; réviser si l’écart persiste.
Une erreur courante est de payer cher un niveau de disponibilité que personne n’a demandé, ou au contraire de promettre des niveaux de service sans aucun moyen de les tenir. Le niveau de service annoncé aux clients (contrat, voir l’observabilité) doit toujours être plus modeste que l’objectif interne, pour garder une marge.
13Ce qui a changé depuis
- Les définitions tiennent. Sûreté de fonctionnement, faute, erreur, défaillance, haute disponibilité, tolérance aux pannes, redondance, remplacement à chaud, sauvegarde, équilibrage de charge, cluster : ce vocabulaire est toujours en usage.
- Une valeur du tableau était inexacte : 99,9 % de disponibilité laisse 8 heures 45 minutes 36 secondes par an, non 8 heures 48. La confusion entre fiabilité et « continuité de service » est à nuancer.
- La réparation compte autant que la fiabilité. On ne cite souvent que MTBF et MTTF ; on y ajoute le MTTR, qui donne la formule de la disponibilité, et les objectifs RTO et RPO.
- La haute disponibilité est passée du matériel au logiciel. Autrefois, on pensait doubles alimentations, disques à chaud, grappes de serveurs coûteux. Aujourd’hui, on pense instances remplaçables, plateformes d’orchestration, services répartis sur plusieurs zones, tolérance dès la conception de l’application.
- Les répartiteurs de charge sont devenus des logiciels et des services de cloud, avec des niveaux 4 et 7, des tests de santé et des algorithmes variés ; l’équilibrage global entre régions est courant.
- Les clusters se sont banalisés, avec des protocoles de consensus pour éviter le split brain et des plateformes qui automatisent le maintien du nombre d’exemplaires voulu.
- Nouveaux risques. Les rançongiciels ont montré que la réplication ne remplace pas la sauvegarde, les pannes en cascade et les dépendances cachées sont mieux comprises, et les sauvegardes immuables se généralisent.
- De nouvelles pratiques sont apparues : objectifs de service et budget d’erreur, ingénierie du chaos, déploiements progressifs, comptes rendus d’incident sans recherche de coupable.