Dans nos précédents articles de cette série sur la supervision cybersécurité OT (Quelle détection pour l’OT ? / Stratégie d’outillage), nous avons expliqué l’état actuel des capacités de détection OT et discuté de la bonne stratégie d’outillage. 
Ce troisième article se concentre sur une question clé : comment mesurer l’efficacité de votre détection OT ? 

De la conformité à l’efficacité : un changement de paradigme dans les KPI 

KPI signifie Key Performance Indicator (indicateur clé de performance). Cependant, nous avons tendance à créer des KPI pour suivre la progression par rapport à nos plans, non la performance réelle. Bien que cela soit utile, surveiller uniquement le déploiement ou la couverture (nombre de sites connectés au SOC, déploiement d’EDR sur les machines OT, nombre de sondes enregistrées sur la console de gestion) en dit très peu sur la capacité réelle de votre SOC à détecter un attaquant. 

Alors, quel niveau de confiance avez-vous dans vos outils de détection, vos use cases et vos processus ? La seule façon d’en être sûr est simple : les tester.  

Et le meilleur moyen de les tester est d’organiser des exercices de Purple Team. 

Qu’est-ce que le Purple Teaming en OT ? 

Un exercice de Purple Team est une mission collaborative entre la Red Team (attaquants) et la Blue Team (défenseurs). Contrairement à une évaluation Red Team classique, où les équipe de défense ne sont pas tenus informés, un exercice de Purple Team est un effort conjoint et itératif. 

Cette approche collaborative permet aux deux équipes de : 

• Partager les hypothèses sur l’environnement OT 
• Valider la logique de détection en temps réel 
• Identifier les zones d’ombre 
• Améliorer les playbooks et les pipelines de détection 
• Aligner tout le monde sur un modèle de menace réaliste 

Réaliser un exercice de Purple Team 

Un exercice Purple Team se déroule en trois grandes phases : 

1. Préparation

La phase de préparation est souvent la plus difficile, en particulier en OT, où la sureté de fonctionnement, la disponibilité de l’outil industriel et la dépendance aux fournisseurs doivent être prises en compte. 

Selon la maturité de l’organisation, la préparation peut aller du très simple au très sophistiqué : 

• Tests unitaires 
  Petits tests isolés de règles de détection spécifiques (ex. : « Détecter le code fonction Modbus 90 »). 
• Tests basés sur des scénarios redoutés 
  Construire des scénarios autour des « crown jewels » de l’organisation et des modes de défaillance (ex. : « Téléversement non autorisé d’un programme sur un automate contrôlant un procédé critique »). 
• Tests enrichis par la CTI 
  Intégrer la Threat Intelligence : tester les techniques utilisées par de vrais attaquants ciblant l’OT (ex. TTP de Volt Typhoon, Sandworm, Xenotime ou de groupes ransomware visant les environnements industriels). 

Pour structurer la phase de préparation, deux éléments sont essentiels : 

• Une bonne connaissance de votre environnement OT 
  Planifier un exercice pertinent pour les risques métier et la détection OT, sans impacter le procédé, nécessite une connaissance approfondie du site et de son automatisation. 
• Un mapping sur la matrice MITRE ATT&CK for ICS 
  Mapper vos tests avec la matrice ATT&CK vous donne un langage commun avec les équipes de détection. Cela permet de sélectionner les techniques pertinentes, d’éviter les angles morts et de garantir une couverture sur plusieurs couches : postes opérateurs, automates, IHM … 

2. Jour J (Exécution)

L’exécution est réalisée conjointement : 

• La Red Team lance des actions contrôlées et autorisées 
• La Blue Team surveille les évènements détectés en temps réel 
• Les deux équipes ajustent, documentent et valident les résultats tout au long de l’exercice 

Selon le périmètre et la complexité des tests, une opération Purple Team en milieu industriel peut durer de quelques heures à quelques jours. 

Assurer la reproductibilité des tests avec Caldera 

Pour garantir la répétabilité et la cohérence entre les exercices Purple Team, l’automatisation devient essentielle. Nous utilisons Caldera, un framework open-source de Breach & Attack Simulation (BAS) développé par MITRE pour cela. 

En tant qu’ancien pentester, je n’ai jamais aimé le terme « pentest automatisé », mais les outils BAS sont ce qui se rapproche le plus d’une exécution de stimulis d’attaque répétable et sûre. 

Pourquoi utiliser Caldera plutôt que de réaliser tous les tests manuellement ? 

Caldera permet de : 

• Préparer et valider une liste contrôlée de tests sur une liste contrôlée d’actifs 
• S’assurer que seules des actions autorisées sont exécutées 
• Garantir la reproductibilité entre les environnements 
• Rejouer exactement les mêmes actions pour mesurer les améliorations après des changements de configuration 

Des plugins OT spécifiques existent déjà dans le module Caldera-OT, prenant en charge Modbus, Profinet, DNP3, etc. 

Récemment, Wavestone a publié deux plugins OT supplémentaires : 

• Support du protocole Siemens S7 
• Actions de communication OPC-UA 

Caldera en bref 

L’utilisation de Caldera repose sur quatre notions de base : 

• Abilities : actions techniques atomiques (ex. lecture de coils, écriture de tags, scan d’un automate) 
• Adversaries : collections d’abilities formant un scénario 
• Operations : exécution en temps réel de ces adversaries sur une cible 
• Fact sources : paramètres fournis pour une opération ; on peut ainsi lancer les mêmes opérations sur différents environnements en changeant seulement la source de facts 

La vidéo suivante présente une démonstration de Caldera sur notre maquette ICS : 

3. Débriefing

La majorité de la valeur ajoutée de l’exercice provient du debrief. Les types suivants de KPI peuvent être utilisés : 

• Couverture de détection – quel pourcentage des stimuli exécutés a été détecté ? 
• Qualité des alertes – les alertes étaient-elles exploitables, précises et compréhensibles ? 
• Temps de réaction – combien de temps avant qu’une alerte soit déclenchée puis reconnue ? 
• Efficacité des playbooks – les bonnes actions ont-elles été prises dans les délais attendus ? 

Ces résultats peuvent permettre d’aboutir à : 

• Des règles de détection mises à jour 
• Des playbooks SIEM/SOC améliorés 
• Une meilleure architecture de supervision 
• Du matériel de formation pour les analystes et ingénieurs 

Commencez à tester dès maintenant ! 

Le Purple Teaming apporte une valeur immédiate, quel que soit votre niveau de maturité actuel : 

• Il valide vos outils dans des conditions réelles 
• Il forme vos équipes SOC et OT 
• Il révèle les angles morts tôt dans le programme 
• Il fournit des KPI quantitatifs pour piloter les améliorations de détection 

Et oui, cela est possible dans la plupart des environnements de production, sous les conditions suivantes : 

• Périmètre strictement contrôlé 
• Actions approuvées par les fournisseurs 
• Pas d’exécution de fonctions perturbatrices 
• Implication des équipes opérationnelles et sécurité 
• Surveillance continue du comportement du système pendant les tests 

En bref : commencez petit, restez prudent, et itérez. 

N’attendez pas que votre programme de sécurité OT soit “terminé” pour commencer à en tester l’efficacité !