«Je ne vous vois pas dans MITRE.»
«Votre solution n’a même pas été benchmarkée, comment peut-on savoir ce que vous valez VRAIMENT ?»
«De toute façon, c’est impossible pour un acteur français de faire aussi bien que les Américains…»
… OK, OK, n’en jetez plus…
Le 1er août 2022, une réunion décisive s’est tenue chez HarfangLab pour débattre de ces questions clés : devons-nous succomber à l’attrait de la renommée et prendre part à l’évaluation MITRE ENGENUITY 2023 ? Ce voyage risque-t-il de nous conduire à l’échec ?
Le processus de prise de décision
Pour prendre la bonne décision, il nous faut définir…
Les pour :
– Nos clients : pour ceux qui placent une confiance sans faille dans MITRE ou dans le Magic Quadrant, et pour les entreprises de toute taille souhaitant évaluer nos capacités de détection sur la base de preuves irréfutables, l’évaluation MITRE s’impose comme indicateur suprême de confiance ;
– Nos partenaires : ils aspirent à convaincre leurs clients de notre fiabilité et, pour en faire la preuve, il faut des résultats solides ;
– Nos ambitions internationales : notre ambition globale dépend de notre capacité à nous imposer comme leader européen, or, ce but impose de prendre part à ce type d’exercice de benchmarking.
Les contre :
– Le coût : il risque de se révéler conséquent, surtout pour une société qui n’a eu de cesse que de prioriser les investissements en R&D depuis ses origines ;
– Le délai : la préparation et l’exécution des tests demandent un engagement substantiel de ressources déjà rares du fait des développements, de la maintenance et de nos obligations en matière de support client ;
– Le risque : si nous obtenons un résultat défavorable ou si, pour une raison ou pour une autre, notre performance n’est pas optimale, nous ne pouvons pas mettre en doute la publication de ces résultats.
L’équipe marketing a fait part de son point de vue, le directeur technique (CTO) a mené les discussions, l’équipe Cyber Threat Intelligence (CTI) a pesé consciencieusement les pour et les contre, tout comme notre directeur financier (CFO). De vifs débats se font entendre, mais au final la décision est unanime : en 2023, nous devons officiellement nous embarquer dans le périple MITRE !
Constituer le groupe de travail
Un groupe de travail est rapidement réuni, regroupant ces membres clés :
– un gestionnaire de projet ;
– l’équipe CTI ;
– du support DevOps, back-end et front-end.
En un rien de temps, l’identité du groupe d’attaquants pour la simulation est connue : TURLA. TURLA est un groupe russophone de cyberespionnage connu de longue date. Comme indiqué par Sekoia, il est depuis longtemps suspecté d’entretenir des liens avec les services militaires de renseignement russes.
Gérer la surcharge d’informations
On peut se demander si le fait d’avoir connaissance des scenarii envisagés peut fausser les résultats. Il faut cependant se rappeler que le but premier de MITRE est d’évaluer les capacités de détection : ces conditions ont toujours fait partie de la procédure d’évaluation. Paradoxalement, avoir connaissance de l’identité de l’attaquant implique un ensemble de défis.
En effet, l’équipe CTI s’est retrouvée submergée par un énorme volume d’informations sur ce groupe d’attaquants, dont leurs tactiques, outils et pratiques. La tâche consistant à identifier des sources pertinentes, extraire les informations essentielles et les convertir en règles de détection exploitables s’est avérée chronophage.
Pour gérer efficacement cette surcharge de données, l’équipe a pris une décision stratégique et développé une application pour faciliter le suivi des outils exploités par TURLA, leurs techniques, les éléments à tester et l’origine des règles créées.
Avec le renfort de ce puissant outil, nous avons rapidement pu compiler un répertoire exhaustif de documentation. Les tactiques employées par TURLA ont habilement été converties en règles de détection, enrichissant ainsi nos patterns de détection. Chose appréciable, ces règles servent non seulement à l’évaluation MITRE, mais aussi à nos clients : elles renforcent encore leurs défenses cyber.
Se préparer à faire face à l’inconnu
En février, tout est prêt : une instance a été mise en place, les agents ont été déployés dans l’environnement de test fourni pour l’évaluation MITRE. Toutefois, pour cet essai inaugural, un défi de taille se profile : nous n’avons AUCUNE idée de la manière dont se déroule le processus d’évaluation. Nous sommes les seuls, sur 31 éditeurs se soumettant à l’exercice, à nous aventurer en territoire inconnu.
Déjà le 1er mars 2023 : l’équipe CTI au complet s’entasse dans une pièce bien trop étroite pour être confortable. Nous nous hâtons de prendre les quelques sièges à disposition, nous serrant autant que possible, pleinement conscients qu’une expérience unique et exigeante nous attend. Cette réunion débute par un briefing introductif exposé par l’équipe d’évaluation de MITRE.
Enfin, le mystère est levé : la Red Team de MITRE lancera des tests dans son environnement de laboratoire pendant quinze minutes environ, après quoi nous serons chargés d’élucider les attaques que nous aurons observées ou que nous ne serions pas parvenus à détecter.
Pendant ces quinze minutes intenses, les alertes affluent, la console fourmille d’activité et les contours de l’attaque commencent à se dessiner. Un sentiment étrange apparaît — jamais avant nous n’avons été aussi soulagés de voir une attaque réussie. Un déluge de questions s’abat alors sur nous :
"Pourriez-vous, s’il vous plaît, faire la preuve de cette détection sur votre plateforme ?" — Cette question reviendra trois jours durant, et sera posée pour près de 150 sous-techniques distinctes devant être identifiées.
La tension monte d’un cran dans la salle. Un premier analyste identifie rapidement un événement de sécurité intrigant. Un deuxième rapporte une alerte plus riche en contexte. Un troisième partage un lien via Slack. Un quatrième empoigne le micro pour confirmer la validité de notre alerte. Pendant ce temps, en arrière-plan, le reste de l’équipe commence à s’attaquer aux autres sous-techniques à présenter. L’excitation est à son comble et, au cœur de l’action, nous perdons un instant nos repères, nous éparpillant dans tous les sens. Il est clair, alors, que nous devons nous reconcentrer.
D’un élan commun, nous arrêtons tout et nous lançons dans une restructuration. Une décision est prise : seul un écran sera affiché — celui de l’analyste, et un porte-parole désigné nous représentera. L’équipe CTI se scinde en deux groupes. Le premier se concentre sur la validation de la sous-technique d’évaluation en cours et la fourniture de preuves concrètes des détections. Le second groupe se prépare aux sous-techniques à venir. Les discussions se déroulent alors sans heurts et nous nous engageons dans un marathon exténuant de justifications d’une durée de neuf heures.
La première journée se termine, le premier scénario prend fin. Les pizzas sont commandées à la hâte et nous nous accordons une pause bien méritée. L’évaluation initiale des résultats du premier scénario est prometteuse, alimentant notre anticipation des défis que le deuxième scénario pourrait apporter.
Des vétérans chevronnés pour le second scénario
À l’aube du deuxième jour, nous prenons les traits de vétérans chevronnés. La Red Team présente son scénario et nous en disséquons méticuleusement chaque élément, scrutant chaque sous-étape. Nous identifions et classons ce qui a été détecté en faisant la distinction entre la télémétrie, les tactiques et les techniques. Après un autre marathon éreintant de neuf heures, le deuxième scénario prend fin. Une fois encore, les résultats semblent très prometteurs.
La troisième et dernière journée est consacrée à rejouer les tests. Cette fois-ci, la Red Team de MITRE déroule les deux scénarios simultanément, ce qui nous donne l’occasion d’améliorer nos capacités de détection et de mieux comprendre les scénarios en cours. L’objectif principal est de labéliser les tactiques et techniques, car ces tags pèsent lourd dans l’évaluation. Bien que la plupart de nos règles portent déjà ces tags, le fait de rejouer les scénarios d’attaque nous permet d’être plus précis et explicites, ce qui va pouvoir profiter à tous nos clients à l’avenir.
Après trois jours de captures d’écran, de justifications et de présentations de preuves, il semble que nous avons atteint la ligne d’arrivée de ces tests MITRE. Mais ce n’est pas tout à fait fini. Nous devons encore examiner méticuleusement les 225 captures d’écran et nous assurer que chaque sous-technique a été soigneusement traitée par nos homologues : une tâche ardue, mais indispensable.
L’attente des résultats
Nous attendons impatiemment des mois durant que tous les concurrents passent leurs tests, et que MITRE recueille diligemment des preuves auprès de chaque éditeur. À la fin du mois d’août, les résultats d’HarfangLab sont consolidés et connus de nous seuls, sous embargo. Excellente nouvelle : ils montrent que les équipes CTI sont parvenues à identifier tous les aspects de TURLA pour détecter la plupart des outils, tactiques et techniques employés par ce groupe !
Par ailleurs, la plupart de nos résultats sont labélisés Technique, la détection la plus précise, indiquant qu’au-delà de la détection, la visibilité apportée sur la menace est la plus poussée possible : un élément crucial voué à rassurer les utilisateurs de notre console.
Après une semaine d’attente, nous découvrons également les résultats de nos concurrents. Certes, certains éditeurs américains présentent des résultats soulignant une détection plus poussée, ce qui est relativement normal puisqu’ils en sont à leur 4ème participation, ont l’expérience de l’exercice, et étaient déjà familiers des règles du jeu. Nous parvenons néanmoins à nous positionner parmi les meilleurs : une tâche ardue à la base, car MITRE est un exercice avec ses propres règles, codes et cadres, dont nous faisions l’expérience pour la toute première fois.
Alors, qu’en sera-t-il l’an prochain ? Il n’y aura pas de débat entre le directeur technique, l’équipe CTI, le marketing et le directeur financier : nous vous invitons d’ores et déjà à suivre la prochaine édition de MITRE !