La haute disponibilité
Partie 3 sur 5
6Calculer la disponibilité d’un ensemble
On peut estimer la disponibilité d’un ensemble à partir de celle de ses éléments. Deux règles suffisent, illustrées par la figure 3.
6.1En série : tout doit marcher
Quand un service dépend de plusieurs éléments dont chacun est indispensable (le répartiteur, le serveur applicatif, la base de données), il ne fonctionne que si tous fonctionnent. La disponibilité de l’ensemble est le produit des disponibilités : 0,999 × 0,999 × 0,999 ≈ 0,997, soit 99,70 %. Le résultat est plus mauvais que chaque élément pris seul, et il est toujours dominé par le maillon le plus faible. Plus la chaîne est longue, plus la disponibilité baisse : dix éléments à 99,9 % donnent environ 99,0 %, c’est-à-dire plus de trois jours d’arrêt par an. C’est la raison pour laquelle les architectures qui font appel à de très nombreux services en chaîne exigent des services individuels extrêmement fiables, ou des mécanismes qui permettent de fonctionner quand l’un d’eux manque (partie 11).
6.2En parallèle : un seul suffit
Quand plusieurs éléments peuvent chacun rendre le service seuls, l’ensemble ne tombe que si tous tombent en même temps. Il faut donc multiplier les indisponibilités : pour deux serveurs à 99 % (indisponibles 1 % du temps), l’indisponibilité de l’ensemble est 1 % × 1 % = 0,01 %, soit une disponibilité de 99,99 %. Avec trois serveurs, 1 % × 1 % × 1 % = 0,0001 %, soit 99,9999 %. Chaque doublon fait gagner ici deux « 9 ». C’est ce qui rend la redondance si efficace.
6.3Les limites de ce calcul
Ce calcul est une belle approximation, mais il repose sur des hypothèses qui ne sont jamais tout à fait vraies :
- L’indépendance des pannes. Si les deux serveurs partagent la même alimentation, le même répartiteur, le même logiciel défectueux ou la même salle, leurs pannes sont liées et le gain réel est bien plus faible que le calcul. Les dépendances cachées sont la cause de nombreuses pannes « impossibles » (partie 3.5).
- Le basculement lui-même. Il n’est pas parfait : détecter la panne prend du temps, et il peut échouer. Le calcul suppose un basculement instantané et sûr.
- Les éléments qui ne sont pas redondants. Le répartiteur de charge, le réseau, le service de noms, l’authentification et la supervision sont souvent oubliés. Un maillon unique dont la panne arrête tout s’appelle un point de défaillance unique (en anglais single point of failure, SPOF). Chasser les points de défaillance uniques est l’exercice central de la conception.
- La capacité. Deux serveurs à moitié chargés valent mieux qu’un seul à pleine charge, mais si la charge double un jour, l’ensemble ne résiste plus à la perte de l’un d’eux.
Le calcul fournit donc une borne supérieure plutôt qu’une promesse. Les chiffres observés sur le terrain sont souvent inférieurs, à cause de ces écarts à l’hypothèse. Les erreurs humaines et les changements mal contrôlés, qui touchent tous les exemplaires à la fois, y contribuent particulièrement.
Pour s’exercer
Exercice 2 : une chaîne de composants
Un service dépend, en série, de quatre composants disponibles chacun à 99,5 %. Quelle est sa disponibilité ? Combien d’arrêt par an cela représente-t-il ?
Voir la réponse
On multiplie : 0,9954 ≈ 0,9801, soit environ 98,01 %. L’indisponibilité est d’environ 1,99 %, soit 8 760 × 0,0199 ≈ 174 heures, c’est-à-dire plus de 7 jours par an. Chaque composant paraît très bon, mais l’enchaînement est médiocre : voilà pourquoi on chasse les maillons inutiles et on double les maillons critiques.
Exercice 3 : doubler, mais pas tout
Deux serveurs à 99 % chacun, en parallèle, sont placés derrière un répartiteur de charge unique à 99,9 %. Quelle est la disponibilité de l’ensemble ? Quel est le maillon à améliorer ?
Voir la réponse
Les deux serveurs en parallèle : 1 − (0,01 × 0,01) = 0,9999, soit 99,99 %. Ensemble en série avec le répartiteur : 0,9999 × 0,999 ≈ 0,9989, soit 99,89 %. Le répartiteur, avec ses 99,9 %, domine l’indisponibilité de l’ensemble : c’est un point de défaillance unique. Doubler le répartiteur (deux à 99,9 % en parallèle donnent 99,9999 %) ferait passer l’ensemble à environ 99,99 %.
Exercice 4 : réparer plus vite
Un équipement a un MTBF de 2 000 heures et un MTTR de 8 heures. (a) Quelle est sa disponibilité ? (b) Quel MTTR faudrait-il pour atteindre 99,9 % ?
Voir la réponse
(a) Disponibilité = 2 000 ÷ (2 000 + 8) = 2 000 ÷ 2 008 ≈ 99,60 %. (b) Pour 99,9 %, il faut MTBF ÷ (MTBF + MTTR) = 0,999, donc MTTR = MTBF × (1 − 0,999) ÷ 0,999 ≈ 2 000 × 0,001 ÷ 0,999 ≈ 2 heures. Diviser par quatre la durée de réparation (pièces sur place, procédure, alertes) a donc le même effet que multiplier la fiabilité du matériel par quatre.
Exercice 5 : RPO et RTO
Une base de données est copiée vers un site de secours de façon asynchrone avec un retard maximal de 5 minutes. Restaurer et relancer le service sur le site de secours prend 30 minutes. Quels sont le RPO et le RTO réels ? Que faudrait-il changer pour un RPO de zéro ?
Voir la réponse
Le RPO réel est de l’ordre de 5 minutes (au pire, on perd les dernières écritures non encore copiées) et le RTO de l’ordre de 30 minutes. Pour un RPO de zéro, il faudrait une réplication synchrone, où l’écriture n’est confirmée qu’une fois la copie confirmée : aucune perte, mais des écritures plus lentes (surtout si le site de secours est éloigné), et une disponibilité qui dépend aussi du lien entre les sites.
7L’équilibrage de charge
Une des principales difficultés des administrateurs de réseaux est la capacité à monter en charge : « la faculté de répondre aux requêtes avec un temps de réponse acceptable, même en cas d’affluence massive ». L’équilibrage de charge (en anglais load balancing, aussi appelé répartition de charge) apporte une réponse. Il consiste, selon la définition usuelle, à « distribuer une tâche à un pool de machines ou de périphériques » afin de :
- lisser le trafic réseau, c’est-à-dire répartir la charge globale vers différents équipements, de sorte qu’aucun ne soit surchargé pendant que d’autres s’ennuient ;
- s’assurer de la disponibilité des équipements, « en n’envoyant des données qu’aux équipements en mesure de répondre, voire à ceux offrant le meilleur temps de réponse ».
Ce second rôle relie directement l’équilibrage de charge à la haute disponibilité : un répartiteur qui détecte qu’un serveur ne répond plus cesse de lui envoyer du travail, et la panne devient invisible pour l’utilisateur (voir la figure 2).
7.1Le répartiteur de charge
L’élément qui distribue le travail s’appelle le répartiteur de charge (load balancer). On cite deux manières de le réaliser : un commutateur de niveau 4 (un équipement réseau qui répartit les connexions en regardant les adresses et les ports, c’est-à-dire la couche « transport » du modèle de référence des réseaux, voir le modèle OSI) ou un serveur utilisant un algorithme de type round-robin. Aujourd’hui, le répartiteur est le plus souvent un logiciel (HAProxy, Nginx, Envoy…) ou un service du fournisseur de cloud. On distingue deux niveaux de fonctionnement :
- le répartiteur de niveau 4 distribue les connexions sans lire leur contenu : très rapide, mais sans finesse ;
- le répartiteur de niveau 7, dit « applicatif », lit le contenu des requêtes web (adresse demandée, en-têtes, cookies) et peut décider en conséquence : envoyer les images vers un groupe de serveurs et les pages dynamiques vers un autre, ou déchiffrer le trafic sécurisé à l’entrée (voir TLS).
7.2Les algorithmes de répartition
- Le tourniquet (round robin) envoie chaque demande au serveur suivant dans la liste, en boucle : A, B, C, A, B, C… Simple et équitable, à condition que les serveurs soient identiques et les demandes de coût comparable.
- Le tourniquet pondéré donne plus de demandes aux serveurs plus puissants (poids 2 pour une machine deux fois plus puissante).
- Le moins de connexions (least connections) envoie la demande au serveur qui a, à cet instant, le moins de connexions en cours. Il s’adapte mieux quand les demandes ont des durées très inégales.
- Le hachage choisit le serveur d’après une valeur de la demande (l’adresse du client, par exemple), de façon que le même client retombe toujours sur le même serveur. C’est utile pour les caches et pour les « sessions collantes » (sticky sessions), où un utilisateur doit retrouver la mémoire de ses échanges précédents.
Le « round robin » existe aussi au niveau du service de noms : on associe plusieurs adresses à un même nom (voir le DNS), et les clients reçoivent ces adresses à tour de rôle. C’est simple et gratuit, mais le service de noms ne sait pas si un serveur est en panne : il continue de donner son adresse tant qu’on ne l’a pas retirée à la main, et les copies mises en mémoire par les clients prolongent l’effet. On réserve donc cette méthode à des usages peu exigeants ou à la répartition entre sites distants.
7.3Le répartiteur est lui-même un point de défaillance
Une fois qu’on a placé un répartiteur devant ses serveurs, c’est lui que l’on doit rendre redondant. D’où les paires de répartiteurs (l’un actif, l’autre en attente, ou les deux actifs avec une adresse partagée), ou des services de cloud dont le répartiteur est lui-même réparti sur plusieurs machines et plusieurs sites. Et l’on remonte la chaîne : le répartiteur est derrière le réseau, derrière le service de noms, derrière l’électricité. On ne supprime jamais les points de défaillance uniques, on les déplace vers des endroits où ils sont plus fiables et plus faciles à doubler.
7.4L’équilibrage global
Pour les très grands services, on répartit aussi entre régions du monde : les utilisateurs sont dirigés vers le site le plus proche ou le moins chargé, et vers un autre si le premier est en panne. On utilise pour cela des services de noms intelligents (qui répondent différemment selon la localisation du demandeur et l’état des sites) ou des adresses diffusées depuis plusieurs lieux. Ce niveau protège contre la perte d’un site entier (partie 10).
Pour s’exercer
Exercice 6 : répartir la charge
Trois serveurs peuvent traiter respectivement 100, 100 et 50 requêtes par seconde. Le site reçoit 250 requêtes par seconde. Que se passe-t-il avec un tourniquet simple ? Comment corriger ?
Voir la réponse
Avec un tourniquet simple, chaque serveur reçoit un tiers, soit environ 83 requêtes par seconde : le troisième, qui n’en traite que 50, est surchargé (33 requêtes de trop), alors que les deux autres ont de la marge. Avec un tourniquet pondéré (poids 2, 2 et 1), les parts deviennent 100, 100 et 50 : tout est utilisé, mais l’ensemble est à sa limite (250 sur 250), sans marge pour une panne. On préférerait un algorithme « moins de connexions » et une capacité supplémentaire.