La haute disponibilité
Partie 2 sur 5
3D’où viennent les pannes ?
On range les origines des pannes en trois familles. Elles restent valables, avec quelques ajouts.
3.1Les origines physiques
Ce sont celles que l’on imagine en premier : désastres naturels (inondation, séisme, incendie, tempête), environnement (intempéries, taux d’humidité de l’air, température), panne matérielle (disque, alimentation, mémoire, carte réseau), panne du réseau (câble coupé, équipement défectueux, opérateur en difficulté) et coupure électrique. Elles peuvent avoir une cause criminelle (vol de câbles, sabotage) comme naturelle. Un site bien conçu réduit ces risques (voir le centre de données), mais ne les supprime pas.
3.2Les origines humaines
Elles sont, sur le terrain, la première cause d’incidents graves. On les décrit comme « intentionnelles ou fortuites » : erreur de conception (bogue logiciel, mauvais dimensionnement du réseau), erreur de manipulation (une mauvaise commande, une mauvaise configuration, la suppression du mauvais fichier), négligence (une mise à jour oubliée), et malveillance volontaire. L’erreur est le plus souvent le dernier maillon d’un enchaînement où les procédures et les protections ont manqué : une personne seule n’est presque jamais la « cause racine », c’est le système qui lui a permis de se tromper sans filet.
3.3Les origines opérationnelles
On appelle « opérationnelles » les fautes liées à l’état du système à un moment donné : bogues logiciels et dysfonctionnements. Nous les complétons par les fautes d’exploitation : surcharge soudaine (un pic de visiteurs, une promotion), saturation d’un disque, expiration d’un certificat, échéance oubliée, mise en production d’un changement mal testé, dépendance extérieure défaillante. Les changements de configuration et les déploiements de nouvelles versions sont à l’origine d’une part considérable des pannes : c’est pourquoi on les fait progressivement et avec la possibilité de revenir en arrière (partie 11).
3.4La malveillance
Enfin, la liste se termine par la « malveillance intentionnelle ». La disponibilité est la cible directe de plusieurs attaques : le déni de service (inonder un serveur de demandes pour l’empêcher de répondre, voir les attaques par déni de service) et les rançongiciels (voir les rançongiciels), qui rendent les données inutilisables. La haute disponibilité aide contre le premier, mais pas contre le second, comme l’explique le coin cyber.
3.5Les pannes « en cascade » et les pannes corrélées
L’hypothèse commode est que les pannes sont indépendantes : si un serveur sur cent tombe, le voisin n’est pas concerné. Dans la réalité, beaucoup de pannes sont corrélées : plusieurs éléments tombent pour la même raison. Une même mise à jour défectueuse déployée sur toutes les machines, un même défaut de série d’un lot de disques, une coupure d’électricité qui touche tout le bâtiment, un service de noms (voir le DNS) qui ne répond plus. Pire, certaines pannes se propagent en cascade : un service lent fait attendre ses clients, qui accumulent des requêtes, saturent leur mémoire, tombent à leur tour, et transmettent la surcharge à leurs propres clients. La partie 11 présente les parades.
4Les quatre moyens de lutte
On énumère quatre moyens de « limiter les défaillances d’un service ». Ils forment encore le plan de toute démarche sérieuse.
- La prévention des fautes : éviter qu’elles n’apparaissent, « en les anticipant ». On y range une conception rigoureuse, des composants de qualité, des tests, la formation des personnes, des procédures claires, la revue du code et des configurations, un environnement maîtrisé (électricité, température).
- La tolérance aux fautes : « fournir un service conforme aux spécifications malgré les fautes en introduisant une redondance ». C’est le cœur de la haute disponibilité, détaillé en partie 5.
- L’élimination des fautes : réduire leur nombre « grâce à des actions correctives », c’est-à-dire corriger les défauts découverts, avant la mise en service (tests, vérification) ou pendant la vie du système (correction de bogues, mise à jour de sécurité, retour d’expérience après chaque incident).
- La prévision des fautes : estimer les fautes à venir et leur impact sur le service. Elle repose sur l’analyse de risques (voir la gestion des risques), les statistiques de pannes passées, les tests de charge et les exercices de panne simulée.
Ces quatre moyens sont complémentaires. La prévention et l’élimination réduisent le nombre de pannes ; la tolérance en atténue les effets ; la prévision aide à choisir où mettre l’effort. Un système qui n’utiliserait que la tolérance (de la redondance partout) mais ne corrigerait jamais ses défauts verrait ses doublons tomber en panne l’un après l’autre.
4.1L’évaluation des risques
Un préalable s’impose : « il est essentiel d’évaluer les risques liés à un dysfonctionnement d’une des composantes du système d’information et de prévoir des moyens et mesures permettant d’éviter ou de rétablir dans des temps acceptables tout incident ». Une panne peut causer une perte de productivité, une perte d’argent, voire des pertes matérielles ou humaines dans les cas critiques (santé, transports, énergie). On ne protège pas tout au même niveau : on classe les services selon leur criticité, on évalue pour chacun ce que coûte une heure d’arrêt, et l’on proportionne l’effort. Une messagerie interne, un site vitrine, un système de paiement et un logiciel de réanimation ne demandent pas le même niveau de disponibilité.
5La tolérance aux pannes : dupliquer et basculer
Le principe est simple : « mettre en place des mécanismes de redondance, en dupliquant les ressources critiques ». La tolérance aux pannes (ou aux fautes, en anglais fault tolerance) est « la capacité d’un système à fonctionner malgré une défaillance d’une de ses composantes ». Lorsqu’une ressource tombe, « les autres ressources prennent le relais afin de laisser le temps aux administrateurs de remédier à l’avarie ». Ce mécanisme est nommé Fail-Over Service (FOS) ; on parle plus souvent aujourd’hui de basculement (failover en anglais).
5.1Les deux grandes organisations
- En actif-passif (ou « actif-secours »), un élément travaille et l’autre l’attend, prêt à le remplacer. C’est simple à comprendre et à réaliser (notamment pour les bases de données), mais l’élément de secours ne sert à rien tant que tout va bien, et son bon état n’est vérifié que si on le teste.
- En actif-actif, tous les éléments travaillent en même temps et se partagent la charge. Si l’un tombe, les autres absorbent son travail. Les ressources sont mieux utilisées, mais il faut que les survivants aient assez de capacité pour la charge de l’ensemble : trois serveurs chargés à 80 % qui en perdent un ne tiendront pas.
On exprime le niveau de redondance par le nombre d’éléments en réserve : N+1 (un élément de plus que le besoin), N+2, ou 2N (tout est doublé). Plus la redondance est élevée, plus le coût augmente, avec des bénéfices décroissants.
5.2Détecter la panne
La redondance n’a de valeur que si la panne est détectée vite et correctement. On utilise couramment un « battement de cœur » (heartbeat) : chaque élément envoie à intervalles réguliers un signal « je suis vivant » à ses voisins ou à un superviseur. Si plusieurs signaux manquent d’affilée, l’élément est déclaré en panne. Il faut régler le délai : trop court, on déclare par erreur en panne un élément simplement lent (et l’on déclenche un basculement inutile, qui peut lui-même causer des dégâts) ; trop long, on laisse les utilisateurs sans service pendant ce temps. Une variante plus fine est le test de santé : le superviseur ne se contente pas de demander « êtes-vous là ? », il envoie une vraie requête de test et vérifie la réponse. Un serveur peut être allumé et répondre au réseau tout en étant incapable de lire sa base de données.
5.3Le remplacement à chaud
Pour le matériel, on souhaite que les éléments fautifs soient « extractibles à chaud » (hot swappable) : on peut les extraire puis les remplacer « sans interruption de service ». C’est le cas des disques d’un ensemble RAID dans des baies à tiroirs, des alimentations doubles, des ventilateurs de châssis. La technique réduit le temps de réparation (MTTR) sans arrêter le service. Dans les systèmes modernes, la logique est étendue au logiciel : on remplace une instance défaillante par une neuve, créée automatiquement à partir d’un modèle (voir les conteneurs et la virtualisation). On parle de « bétail plutôt que d’animaux de compagnie » : on ne soigne pas les machines une par une, on les remplace.
5.4Le piège du cerveau partagé (split brain) et le quorum
Un danger propre à l’actif-passif est la situation où deux éléments croient chacun être le seul actif, parce que le lien qui les relie est coupé alors qu’ils fonctionnent tous deux. On parle de split brain (littéralement « cerveau divisé »). Les deux écrivent alors dans les mêmes données de façon incohérente : le résultat peut être pire que la panne qu’on voulait éviter. La parade est le quorum : on exige, pour décider d’être actif, d’obtenir l’accord de la majorité des membres d’un groupe. Dans un groupe de cinq, une partition de trois machines a la majorité et continue ; l’autre, de deux, s’arrête. Cela explique pourquoi on déploie ces systèmes sur un nombre impair de machines (trois, cinq) : avec deux machines seulement, une coupure du lien ne permet de désigner aucune majorité, et il faut un troisième participant (même minimal) pour arbitrer. Les protocoles dits de consensus (leur nom le plus connu est Raft) assurent cet accord de façon rigoureuse ; ils servent de base aux bases de données répliquées et aux systèmes de coordination des plateformes de conteneurs.