Un guide complet sur la gestion des incidents majeurs dans ITIL

Nous sommes lundi matin et tout semble normal dans votre service d'assistance. Soudain, vous recevez un ticket d'alerte indiquant qu'un service essentiel est en panne, et dans les 15 minutes qui suivent, vous commencez à recevoir un afflux de tickets signalant le même problème. Il se peut que votre site Web soit en panne, que votre logiciel de point de vente ait cessé de fonctionner, ou qu’un événement bien plus considérable se soit produit, comme la chute de la bourse ou des avions cloués au sol. Lorsque votre entreprise est gravement touchée par un problème informatique entraînant une perte de revenus ou portant atteinte à sa réputation, vous devez faire face à un incident majeur.

La façon dont vous réagissez à un incident majeur est cruciale pour minimiser son impact et rétablir les services. On dit que le temps c'est de l'argent, et dans ce cas, cela ne pourrait pas être plus vrai. Si votre organisation a mis en place un processus de gestion des incidents majeurs (MIM), vous pouvez rapidement y répondre et les résoudre. Si vous ne disposez pas d'un tel processus, il est temps d'établir un plan de réponse d'urgence, également appelé processus de réponse aux incidents majeurs.

Les enjeux d'un incident majeur sont plus importants que jamais et, selon une étude réalisée par Information Technology Intelligence Consulting, 98 % des organisations perdent au moins 100 000 dollars par heure pendant les temps d'arrêt. Cela montre combien il est important de mettre en place un processus MIM capable de traiter les incidents majeurs de façon efficace et efficiente.

Toutes les organisations s’efforcent d’éliminer les incidents majeurs, mais en réalité, il est impossible de les éviter totalement et la seule chose que vous pouvez faire, c'est de vous y préparer.

Dans ce guide, nous examinerons comment mettre en place un processus MIM efficace, les erreurs courantes qui peuvent affecter le processus MIM de votre organisation et les meilleures pratiques pour l’améliorer.

Mais d'abord, qu'est-ce qui fait d'un incident un incident majeur ?

Un incident majeur est un problème urgent et à fort impact qui touché généralement l'ensemble ou une part importante de l'organisation. Un incident majeur entraîne presque toujours l'indisponibilité des services d'une organisation, ce qui nuit à ses activités et, en fin de compte, à sa situation financière. Un incident majeur peut affecter les services d'une organisation de deux manières:

• En empêchant les clients d'accéder aux services de l'organisation. La panne de Cloudflare en juillet 2019 est un exemple de clients touchés par un incident majeur. Cette panne majeure a touché près de la moitié du trafic Internet et a laissé des millions d'utilisateurs Internet dans l'impossibilité d'accéder à divers services.
• En perturbant la capacité des employés à terminer leur travail à temps, ce qui entraîne une perturbation de l'activité de l’entreprise. La panne d'IndiGo en novembre 2019 a affecté le processus d'enregistrement de la compagnie aérienne, ce qui a donné lieu à de longs retards et a affecté des milliers de passagers.

Un service d'assistance bien préparé est équipé pour évaluer les incidents majeurs et proposer des solutions ou des palliatifs afin de réduire et contrôler leur impact.

Un processus MIM est indispensable aux organisations, car il contribue à minimiser l'impact des incidents majeurs sur les activités. Le processus MIM comprend les principales étapes suivantes:

1. Identification

Déclaration de l'incident majeur:

La première étape consiste à identifier les éventuels incidents majeurs. Il est important que les organisations mettent en place plusieurs méthodes d'identification des menaces. Les incidents majeurs peuvent être marqués par les techniciens lorsqu'ils rencontrent des tickets inhabituels, ou être détectés par des solutions comme les outils de surveillance réseau qui peuvent automatiquement marquer un problème réseau et créer un ticket pour alerter le service d'assistance. Les organisations peuvent également mettre en place une hotline dédiée au personnel du service d'assistance pour signaler les suspicions d’incidents majeurs.

Information des parties prenantes:

Une fois qu'un incident majeur a été identifié, il doit être communiqué à toutes les parties prenantes clés. Quatre groupes principaux doivent être informés des incidents majeurs:

• Équipe technique: Il est important d'informer immédiatement l'équipe technique afin qu'elle puisse commencer à décider d'une ligne de conduite pour résoudre le problème.
• Direction: Le fait d’informer la direction générale, notamment le directeur informatique, des incidents majeurs contribue à la responsabilisation. Les organisations doivent également tenir la direction informée de toutes les mesures prises pour résoudre les incidents majeurs.
• Principales parties prenantes: Les chefs de service et le personnel de gestion du niveau de service doivent également être informés des incidents majeurs et recevoir des mises à jour régulières sur leur statut.
• Utilisateurs: Les utilisateurs doivent savoir quels services risquent d’être indisponibles en raison d’un incident majeur.

2. Endiguement

Établissement de l'équipe des incidents majeurs:

Une équipe dédiée aux incidents majeurs est composée de techniciens, de responsables de la gestion du niveau de service et d'autres parties prenantes clés ; parfois, du personnel externe hautement qualifié est amené à intervenir pour s’attaquer à un incident majeur. L’équipe travaille en collaboration pour trouver un correctif pour l'incident majeur et rétablir les opérations à la normale.

Mise en place d'un pont de conférence:

Un pont de conférence, plus connu sous le nom de téléconférence, permet un dépannage efficace et une communication centralisée. Il constitue un canal de communication clair et rapide entre les membres de l’équipe des incidents majeurs.

Préparation d'un centre de crise dédié:

La mise en place d'un centre de crise permet à tous les membres de l'équipe des incidents majeurs de se réunir et de résoudre l’incident. Cela accroît la collaboration et permet à l’équipe de trouver une solution plus rapidement.

Création d’un ticket de problème pour identifier les problèmes sous-jacents:

Un ticket de problème peut être créé pour découvrir et comprendre la cause première de l'incident majeur. En traitant les causes de l'incident majeur, on pourra éviter des incidents majeurs similaires à l'avenir.

4. Maintenance

Réalisation d’un examen post-mise en œuvre:

Il est important de faire le bilan de l'incident sur une certaine période pour s'assurer qu'il est vraiment résolu. Si les problèmes sous-jacents ne sont pas résolus, ils pourraient conduire à un autre incident majeur.

Production d’une documentation claire:

La documentation de l'ensemble du processus de résolution de l'incident majeur aide l'organisation à se préparer à des incidents similaires à l'avenir. En documentant correctement les incidents passés, l'organisation peut immédiatement mettre en œuvre la solution testée et éprouvée lorsqu'elle est confrontée à un autre incident majeur similaire, réduisant ainsi son impact.

Mesure des indicateurs:

La mesure des performances du service d'assistance permet d’évaluer l'efficacité du service d'assistance et du processus MIM. Parmi les indicateurs importants à mesurer figurent le temps moyen d'accusé de réception (MTTA), le temps moyen de résolution (MTTR), le nombre total d'incidents majeurs et le temps d'arrêt moyen pour les incidents majeurs.

Un incident majeur nécessite la formation d’un groupe spécial de personnels chargés de traiter l'incident et de le résoudre. Les rôles MIM sont les suivants:

Techniciens du service d'assistance:

Les techniciens du service d'assistance constituent la première ligne de défense contre les incidents majeurs. Ils analysent les tickets d'incident et les réaffectent au gestionnaire d'incidents. Les techniciens du service d'assistance participent également à la mise en œuvre des résolutions.

Gestionnaire d’incident majeur:

Le gestionnaire d'incident majeur est le propriétaire de l'incident majeur. Son rôle consiste à déclarer l'incident comme étant un incident majeur et à s'assurer que le processus MIM est appliqué et que l'incident est résolu au plus tôt. Il est le principal point de contact pour toute information concernant l'incident majeur et gère l’équipe des incidents majeurs.

Équipe des incidents majeurs:

Une équipe dédiée aux incidents majeurs est une équipe spécialisée qui est chargée d'analyser l'incident majeur et de formuler un plan d'action pour faire face à la menace. Idéalement, l’équipe des incidents majeurs est composée de techniciens du service d'assistance, de personnel de gestion des niveaux de service, de personnel technique, d'autres parties prenantes concernées et de consultants externes si la situation l'exige.

Personnel technique:

Le personnel spécialisé responsable du maintien de l'infrastructure et des opérations, comprenant des administrateurs système, des administrateurs réseau et le personnel chargé de la sécurité des informations, constitue le personnel technique d'une organisation. Le personnel technique aide à résoudre les incidents majeurs et constitue le premier responsable de la mise en œuvre de la résolution des incidents majeurs.

Gestionnaire des changements:

Le gestionnaire des changements est le propriétaire du changement créé pour mettre en œuvre le correctif de l'incident majeur. Le gestionnaire des changements s'approprie la pleine propriété du ticket de changement et doit en rendre compte.

Gestionnaire des problèmes:

Si un problème est créé en réponse à l'incident majeur, le gestionnaire des problèmes est le propriétaire du ticket de problème. Le gestionnaire des problèmes tente de déterminer les causes premières de l'incident et de s'assurer qu'il ne se reproduira pas, ou que l'organisation est au moins préparée pour la prochaine fois que l'incident se produira.

Consultants externes ou fournisseurs tiers:

Dans certains cas, l'incident majeur peut nécessiter l’aide de personnels hautement spécialisés pour comprendre et résoudre l'incident. Le gestionnaire d’incident majeur détermine quels sont les personnels nécessaires et les ajoute à l’équipe des incidents majeurs pour contribuer à réduire l'impact de l'incident majeur.

Voici 5 erreurs courantes qui peuvent entraver votre processus MIM:

1. Communication manuelle et réaffectation:

   La communication constitue de loin la plus grande difficulté du processus MIM. En cas d'incident majeur, les différentes parties prenantes doivent être informées du statut de l'incident, de sa gravité et du type de dépannage qui a été effectué pour le résoudre. Communiquer tout cela manuellement est une tâche ardue, et peut conduire à une communication incohérente, ce qui ne fait qu'empirer les choses. Si on automatise le processus, les principales parties prenantes sont informées tout au long du cycle de vie du ticket, et le gestionnaire de l'incident majeur peut concentrer toute son attention sur la résolution du problème.

2. Inefficacité des canaux de signalement des incidents majeurs:

   Chaque service d'assistance reçoit des dizaines, voire des centaines de tickets par jour, allant de problèmes d'ordinateurs portables à des demandes de service ; quelques incidents majeurs potentiels peuvent se glisser dans cette montagne de tickets. Le fait de ne pas mettre en place un canal distinct pour signaler les incidents majeurs retarde leur identification.

3. Duplication des efforts:

   Le fait de ne pas déléguer les tâches de manière organisée peut entraîner une duplication des efforts au sein de l’équipe des incidents majeurs. Il est important d’attribuer des tâches et de tenir l’équipe des incidents majeurs informée de quelles tâches chaque membre est chargé.

4. Documentation médiocre:

   En l'absence d’une documentation appropriée, l’équipe des incidents majeurs devra réinventer la roue chaque fois qu'un incident majeur similaire se produira, ce qui entraînera des retards dans la résolution de ces incidents majeurs et provoquera des temps d'arrêt inutiles.

5. Analyse insuffisante de la cause première:

   Tout comme pour la gestion des incidents, la gestion des incidents majeurs peut faire preuve d’une certaine myopie dans sa portée, car son objectif premier est de résoudre le problème et de remettre en route les services dans les plus brefs délais. Si elle n’est pas associée à la gestion des problèmes visant à identifier les problèmes sous-jacents, la cause sous-jacente d'un incident majeur continuera à rendre l'organisation vulnérable aux incidents majeurs.

Voici les meilleures façons d'aborder le processus MIM.

1. Activer plusieurs canaux de signalement des incidents majeurs:

   Lorsqu'il s'agit de traiter des incidents majeurs, le temps est un facteur essentiel. Les organisations doivent absolument identifier et classer les incidents majeurs dès qu'ils sont détectés. En offrant aux utilisateurs de multiples moyens de signaler les incidents, on rendra l'ensemble du processus plus rapide et plus accessible. Vous pouvez activer la création de tickets par courrier électronique ou par un portail Web, ou même mettre en place une hotline dédiée pour signaler les suspicions d’incidents majeurs. La mise en place d'un logiciel de surveillance du réseau pour détecter les anomalies peut vous aider à gérer de manière proactive les incidents majeurs.

2. Automatiser les processus du service d'assistance:

   La rapidité et l'efficacité jouent un rôle essentiel pour contrôler l'impact d'un incident majeur, et l'automatisation des divers processus du service d'assistance permet d'y parvenir en libérant vos techniciens de tâches répétitives telles que l’envoi de notifications aux parties prenantes. L'automatisation du système de notification et la mise en place de flux de travail pour les incidents majeurs sont de bons moyens d'automatiser les processus du service d'assistance afin d'améliorer le temps de résolution et de structurer votre processus MIM.

3. Viser une communication rapide et pertinente:

   Il est important de tenir la direction de votre organisation et les principales parties prenantes informées de chaque incident majeur. En tenant la direction informée, il sera plus facile d'obtenir les approbations et les autorisations nécessaires pour résoudre l'incident majeur. Une communication rapide garantit que tout le personnel chargé de traiter l'incident majeur est au diapason, et favorise une collaboration efficace et sans heurts ; elle permet également de tenir les utilisateurs finaux informés de tout temps d'arrêt éventuel afin qu'ils puissent s'y préparer.

4. Créer une documentation claire:

   Une documentation claire aide le gestionnaire d’incident majeur à enregistrer tout le travail effectué pour résoudre l'incident majeur, son impact, les services affectés et d'autres informations clés à propos de l'incident majeur. Cette documentation est importante pour montrer à la direction les avantages de disposer d'un processus MIM, y compris son retour sur investissement. Une documentation claire sera également utile en cas d’incident majeur similaire à l'avenir.

5. Utiliser des intégrations profondes avec le logiciel ITOM:

   De solides intégrations avec le logiciel de gestion des opérations informatiques (ITOM) permettent au service informatique de gérer de manière proactive les incidents majeurs. L'identification réactive des incidents majeurs repose sur un afflux de tickets créant un indicateur rouge qui signale qu'un incident majeur est en cours. D'autre part, un processus MIM proactif qui utilise les intégrations ITOM dispose de systèmes en place pour surveiller les réseaux et les services, et peut marquer automatiquement les anomalies qui pourraient constituer des incidents majeurs potentiels.

Il est important de se rappeler que tous les incidents de haute priorité ne sont pas des incidents majeurs. Étant donné que le processus MIM engage d’importantes ressources comme la mise en place d'une équipe distincte pour la gestion des incidents majeurs, il est important de classer soigneusement les incidents majeurs.

Source: https://blog.cloudflare.com/details-of-the-cloudflare-outage-on-july-2-2019/

La panne de Cloudflare en 2019 est un très bon exemple de définition d’un incident majeur. Dans ce cas, une procédure d'exploitation standard de mise à jour d'une règle gérée pour le pare-feu d'applications Web (WAF) a fait grimper à près de 100 % l'utilisation des processeurs dédiés au trafic HTTP/HTTPS sur les serveurs du réseau de Cloudflare. La panne qui a suivi a entraîné une chute de 80 % du trafic de Cloudflare et a touché des millions d'utilisateurs Internet dans le monde entier.

Impact: Important

La panne a eu pour effet d’afficher une page d'erreur 502 aux clients de Cloudflare (ainsi qu’à leurs clients) lorsqu'ils consultaient un quelconque domaine Cloudflare. Les erreurs 502 ont été générées par les serveurs Web frontaux de Cloudflare qui disposaient encore de cœurs de processeurs, mais ne pouvaient pas atteindre les processus qui desservent le trafic HTTP/HTTPS. On estime qu'au moins la moitié de tout le trafic Internet est restée inaccessible pendant les vingt-sept minutes de temps d’arrêt.

Urgence: Élevée

Tous les sites Web Cloudflare étaient inaccessibles, ce qui a provoqué des interruptions de service pour des milliers d'organisations et des millions d'utilisateurs. La panne a également affecté les opérations internes de Cloudflare, empêchant les employés d'accéder à divers services comme l'outil de gestion des changements et le panneau de contrôle interne de l'entreprise. Il fallait résoudre la panne pour reprendre les opérations de service normales.

Chronologie des événements, de la détection à la résolution:

La règle gérée du WAF a été mise en œuvre à 13 h 42 ; trois minutes plus tard, les outils d'opérations réseau de Cloudflare ont commencé à signaler la baisse de trafic, de nombreux autres tests de bout en bout des services Cloudflare n’ont pas tardé à échouer, les utilisateurs finaux ont remarqué diverses erreurs 502, et Cloudflare a reçu de nombreux rapports d'épuisement des processeurs depuis ses points de présence dans des villes du monde entier.

L'équipe d'ingénierie de la fiabilité du site, l'équipe d'ingénierie de Londres et d'autres équipes concernées ont été réunies pour dépanner et trouver une solution. À 14 h, le WAF a été identifié comme étant la cause de l'incident. Et à 14 h 07, le WAF a été totalement arrêté afin de rétablir les niveaux de trafic à la normale.

À 14 h 52, Cloudflare était pleinement convaincu d’avoir compris la cause de la panne et d’avoir mis en place un correctif, si bien que le WAF a été réactivé à l'échelle mondiale.

Changement 

L'ajout, la modification ou la suppression de tout ce qui peut avoir un effet direct ou indirect sur les services.

Gestion des changements:

Le processus d’exécution complète des changements avec un minimum de perturbations et de conflits.

Réaffectation:

Le fait de transférer la propriété d’un ticket en fonction d’une nécessité fonctionnelle ou hiérarchique.

Événement:

La survenue de quelque chose de significatif pour la gestion d’un service ou d’une ressource.

Échec:

Une situation où un service ou une ressource ne fonctionne pas conformément au contrat SLA convenu.

Réaffectation hiérarchique:

Le fait de transférer la propriété verticalement à un technicien du service d'assistance avec un grade plus élevé ou à une autorité compétente.

Impact:

Une mesure de la gravité d’un incident.

Incident:

Une interruption non planifiée ou une réduction de la qualité d’un service informatique. La défaillance d'un élément de configuration, même si elle n'a pas encore affecté un service, est également un incident (par exemple, la défaillance d'un disque dans un jeu de disques en miroir).

Gestion des incidents:

Le processus de gestion du cycle de vie de tous les incidents afin de restaurer les opérations de service normales aussi vite que possible et de minimiser l’impact sur l’entreprise.

Hiérarchisation des incidents:

Attribution de priorités aux incidents et définition de ce qui constitue un incident majeur.

Incident majeur:

Un incident à fort impact et à urgence élevée, qui nécessite un processus distinct de la gestion des incidents.

Gestionnaire d’incident majeur:

La personne responsable de l’équipe des incidents majeurs et de la mise en œuvre du processus MIM.

Délai moyen d'accusé de réception (MTTA):

Une mesure de la rapidité avec laquelle le service d'assistance accuse réception d’un incident.

Délai moyen de détection (MTTD):

Une mesure de la rapidité avec laquelle une menace potentielle pour un service ou un élément de configuration est détectée.

Intervalle moyen entre les défaillances (MTBF):

Une mesure de la fréquence des défaillances d’un service ou d’une ressource.

Délai moyen de réparation/résolution/réponse/récupération (MTTR):

Une mesure de la rapidité avec laquelle un service est restauré après une défaillance.

Opération de service normale:

Une opération de service qui respecte le contrat de niveau de service (SLA).

Problème:

Une cause ou une cause potentielle d'un ou de plusieurs incidents.

Matrice RACI:

Elle définit les rôles et les responsabilités dans des projets et des processus fonctionnels croisés ou par service.

Service d’assistance:

Le point de communication entre les fournisseurs de services et les utilisateurs de l'organisation.

Gestionnaire du service d'assistance:

La personne qui supervise les activités quotidiennes du service d'assistance et qui est responsable de ses performances.

Objectif de niveau de service (SLO):

Il définit l’objectif des fournisseurs de services et constitue un moyen de mesurer leurs performances.

Contrat SLA:

Un contrat entre le fournisseur de services et le client qui précise le niveau de service attendu et le temps prévu pour sa prestation.

Urgence:

Une mesure de la rapidité avec laquelle l’incident doit être résolu.