Ces utilisations malveillantes peuvent être réparties en 3 grandes catégories : 

• Désinformation et phishing amélioré : des vidéos falsifiées portant un discours travaillé peuvent être exploitées pour manipuler l’opinion publique, influencer des débats politiques ou diffuser de fausses informations. Le discours de la vidéo poussera par exemple la cible à cliquer sur des liens de phishing. Nous avons déjà vu par le passé de telle usurpation d’identité ciblant des personnalités publiques ou des PDG d’entreprises pour inciter à de faux investissement par exemple.  
• Fraude au président et ingénierie sociale : les attaques connues de « scam » téléphonique ou de fraude au président deviennent plus difficile à détecter et éviter si un attaquant imite la voix d’un dirigeant pour valider un transfert bancaire ou usurper une identité complète (visage et voix) pour accéder à des informations sensibles. Ces usurpations d’identité en direct, notamment en visioconférence, ont déjà causé de grands dégâts financiers comme ce fut le cas à Hong Kong début 20241.  
• Usurpation d’identité pour contourner les solutions de KYC2 : de plus en plus d’applications, notamment dans le domaine bancaire, utilise des processus de vérification d’identité pour l’utilisateur en analysant le visage de celui-ci en direct. Une modification numérique de l’image du visage envoyée à l’application peut permettre à un acteur malveillant de se faire passer pour une autre personne lors de la vérification d’identité.

Directement lié à l’évolution exponentielle de l’intelligence artificielle générative ces dernières années, le nombre de modèles disponibles pour générer des deepfakes ainsi que leur sophistication est en forte hausse. Il est de plus en plus courant que les entreprises subissent de telles attaques (comme l’atteste notre dernier rapport annuel CERT-W4) et il devient de plus en plus difficile de les détecter et contrer.  

Figure 1 – Augmentation des technologies deepfakes et des pertes financières en résultant

L’humain demeure la première cible et restait donc le premier rempart du système d’information pour lutter contre ce type d’attaques. Cependant, nous avons observé une évolution importante de la maturité de ces technologies sur cette dernière année et il devient de plus en plus difficile de distinguer le vrai du faux à l’œil nu.  

Après avoir accompagné de nombreuses entreprises dans la formation et la sensibilisation de leurs collaborateurs à ces menaces, il nous a paru essentiel de mener une étude analysant l’outillage qui permettrait de renforcer leur défense. Disposer de solutions de détection de deepfakes fiables n’est plus seulement un enjeu technique : c’est une nécessité pour protéger le SI contre les intrusions, maintenir la confiance dans les échanges numériques et préserver la réputation des personnalités et des entreprises. 

Notre Radar des solutions de détection des deepfakes présente un panorama d’une trentaine d’acteurs que nous avons pu rencontrer. Ceux-ci proposent des solutions variées que nous avons rigoureusement évaluées afin d’identifier les premières tendances de ce marché naissant. 

Pour mener ces tests techniques, certains acteurs ont mis à notre disposition une ou plusieurs versions de leur solution dans des environnements variés reflétant le déploiement habituel des solutions chez leurs clients. Nous avons alors construit une base de données de multiples contenus deepfake de typologie variée : type de média (audio seul, image, vidéo, interaction live) ; format (taille de l’échantillon, durée, extension) et outillage deepfake utilisé pour générer ces échantillons : 

Pour extraire au mieux de ces tests les tendances du marché, nous avons considéré 3 critères d’évaluation distincts : 

• La performance (capacité de détection des deepfakes, véracité des résultats sur les faux positifs, temps de réponse…) 
• Le déploiement (facilité d’intégration dans un environnement client, aide au déploiement et documentation) 
• L’expérience utilisateur (compréhension des résultats, facilité d’utilisation de l’outil…) 

Un marché émergeant qui a déjà fait ses preuves en conditions réelles 

Deux technologies différentes pour atteindre le même objectif  

Nous avons en premier lieu catégorisé les différentes solutions proposées selon le type de contenu détecté : 

• 56% des solutions détectent à partir de données visuelles du média (image, vidéo) 
• 50% de solutions optent pour une détection à partir de données audio (fichier audio simple ou audio d’une vidéo)  

Cette répartition homogène du choix de contenu à traiter nous permet d’étudier la performance de l’une ou l’autre des technologies. Si la plupart des solutions développées se repose sur des modèles d’intelligence artificielle entrainés pour classifier les contenus générés par de l’IA, le traitement d’un fichier visuel (type photo) ou d’un fichier audio (type mp3) diffère grandement dans les types modèles d’IA utilisés. Nous pourrions donc nous attendre à des différences de performance sur ces deux technologies. 

Cependant, nos tests techniques montrent que la précision des solutions est relativement semblable que ce soit pour celles traitant de l’image ou de l’audio. 

Il nous a paru également important de recenser les fournisseurs de solutions les plus matures qui cherchent maintenant à développer une capacité de détection des deepfakes sur des flux audio ou vidéo en direct (avec moins de 10 secondes de traitement de la source), sources d’attaques les plus dangereuses aujourd’hui. 

Celles-ci, traitant majoritairement l’audio, ont obtenu un score de précision de 73% des deepfake détectés comme tel. Cela montre la marge de progression possible pour ces jeunes acteurs dans la détection des attaques à la pointe de la technologie en direct.

Du PoC au déploiement at scale, un pas déjà franchi par certains 

La maturité des solutions varie également sur notre radar. Si certains fournisseurs sont des start-ups émergeantes pour répondre à ce besoin spécifique, d’autres n’en sont pas à leur premier produit sur le marché. En effet, certaines entreprises rencontrées présentaient déjà des activités sur des domaines tels que l’identification biométrique, outil d’intelligence artificielle et même générateur de contenu multimédia par IA ! Ces acteurs avaient donc une connaissance et expérience suffisante pour proposer à leur client un service packagé, déployable sur un large périmètre ainsi qu’un support post-déploiement. 

Néanmoins les startups plus jeunes gagnent également en maturité sur leurs services et permettent aussi d’aller au-delà de la phase de PoC en proposant aux entreprises différentes possibilités de déploiement : 

• La requête API, intégrable dans d’autres softwares, reste la façon privilégiée d’appeler les services permettant la détection des deepfake ; 
• Des plateformes GUI6 complètes en SaaS, certaines d’entre elles ayant déjà été déployées on-premise dans certains contextes, notamment en secteur bancaire ou de l’assurance ; 
• Des conteneurs dockers on-device, permettant notamment d’ajouter des plug-ins à des périphériques audio, vidéo ou à des logiciels de vidéoconférence pour une intégration adaptée aux besoins spécifiques de détection. 

Les cas d’usages des solutions de détection de deepfakes : tendances et évolution 

Des cas d’usages spécifiques aux besoins business critiques à protéger 

Pour s’adapter et répondre aux attentes et besoins du marché, les éditeurs se sont spécialisés pour répondre à des cas d’usage précis. En plus de la réponse « deepfake ou contenu original ? », certains éditeurs développent et proposent des fonctionnalités supplémentaires pour cibler un usage spécifique de leur solution. 

Figure 2 – Répartition des solutions selon le cas d’usage business ciblé 

Nous avons regroupé les différentes propositions des éditeurs en grandes catégories nous permettant de comprendre les tendances du marché : 

• KYC et vérification d’identité : dans les processus d’onboarding bancaire ou d’ouverture de compte en ligne, la détection de deepfake permet de distinguer une véritable vidéo d’un usager d’une imitation générée par IA. Cela protège les institutions financières contre l’usurpation d’identité et le blanchiment d’argent. Ces solutions vont notamment pouvoir donner des scores de « liveness » ou de taux de correspondance à la personne devant être identifiée pour affiner la détection. 
• Veille sur les réseaux sociaux et identification des sources : Pour éviter que des faux médias ou informations ne viennent s’attaquer à la réputation de leur client, certains éditeurs de solution ont déployé des veilles sur les réseaux sociaux ou des outils d’analyse de contenu multimédia en pièce jointe de mail pour réagir rapidement. Les fonctionnalités de ces solutions permettent notamment de comprendre comment et par quel modèle de deepfake ces contenus malveillants ont été produits pour aider à tracer la source de l’attaque. 
• Documents falsifiés et fraude à l’assurance : un certain nombre d’acteurs se sont tournés vers la lutte contre la fraude à l’assurance ou aux fausses pièces d’identité. Leurs solutions cherchent alors à détecter des altérations dans des pièces justificatives ou des photos de sinistres en mettant en évidence quelles parties de l’image d’origine ont été modifiées. 
• Détection des arnaques téléphoniques et usurpation d’identité en appel vidéo : ces types d’attaque se multiplient et reposent sur la création d’imitations réalistes de la voix ou du visage d’un dirigeant notamment pour tromper des collaborateurs et obtenir des virements ou informations sensibles. La majorité des systèmes de détection ciblant ces attaques ont développé des capacités d’intégration complète dans les logiciels d’appel vidéo ou sur les cartes sons des appareils à protéger. 

Ainsi, chaque solution est pensée avec des fonctionnalités spécifiques, alignée sur les besoins du marché pour maximiser la pertinence et l’efficacité opérationnelle des solutions de détection. 

L’open-source comme initiateur, les solutions propriétaires pour prendre le relai 

Nous avons parlé jusqu’alors de solutions majoritairement propriétaires. Cependant, l’approche open-source existe bel et bien dans ce domaine. Ces initiatives jouent un rôle important dans la recherche académique et l’expérimentation, mais elles sont souvent moins performantes et moins robustes face à des deepfakes sophistiqués. 

Si certaines proposent de très bons résultats sur des bancs de tests maitrisés (jusqu’à 90% de performance de détection7), les solutions propriétaires proposées par des éditeurs spécialisés offrent en général de meilleures performances en production. Elles se distinguent aussi par l’accompagnement : mises à jour régulières, support technique et services de maintenance, indispensables pour des environnements critiques comme la finance, l’assurance ou le secteur publique. Cette différence crée progressivement un écart entre la recherche open source et les offres commerciales, où la fiabilité et l’intégration en environnements complexes deviennent des arguments clés. 

Les faux positifs, la limite qu’il reste à repousser 

Beaucoup d’éditeurs mettent en avant leur capacité de performance de détection de contenu deepfake. Il nous a paru important de prolonger les tests pour comprendre les performances de ces solutions sur les faux positifs : les contenus réels sont-ils détectés comme du contenu naturel ou comme du contenu deepfake ? 

Les évaluations que nous avons menées sur plusieurs solutions de détection mettent en lumière des résultats contrastés selon les types de contenus.  

• Pour l’image et la vidéo : près de 40 % des solutions testées rencontrent encore des difficultés à gérer correctement les faux positifs. Sur ces solutions, nous pouvons obtenir entre 50% et 70% des images réelles analysées considérées comme deepfake. Cela limite alors leur fiabilité notamment si elles sont soumises à de nombreux contenus.  
• Sur le volet audio, les solutions se distinguent avec des performances plus solides sur les faux positifs : seulement 7%. Seuls quelques échantillons particulièrement altérés (mais sans IA) ou de mauvaise qualité ont été détectés comme deepfake par certaines solutions. 

Pour pallier ces problèmes, certains éditeurs cherchent à combiner le traitement image/vidéo et audio. Aujourd’hui, ces deux modalités demeurent le plus souvent traitées comme deux scores séparés, conservant généralement le score tendant le plus vers le contenu généré par IA. Des pistes d’amélioration sont en cours chez certains éditeurs pour se servir de ces deux scores avec plus de complémentarité pour réduire les faux positifs. 

Quel futur pour la détection de deepfakes? 

Les solutions actuelles ont démontré leur efficacité dans la plupart des conditions existantes aujourd’hui dans l’écosystème d’attaques deepfake. Cependant, dans un contexte où ces technologies et leurs utilisations se réinventent rapidement, les éditeurs vont devoir faire face à deux défis majeurs.  

Le premier axe concerne l’efficacité face aux outils génératifs inconnus : si la maîtrise des technologies de génération les plus courantes est désormais bien établie, les écarts de performance apparaissent lorsqu’il s’agit de détecter des contenus produits par des technologies émergentes, moins documentées et plus opaques.  

Le second axe clé réside dans la détection en temps réel. À ce jour, seulement 19 % des solutions intègrent de telles fonctionnalités, et même parmi celles-ci la performance observée demeure insuffisante pour répondre à ces besoins qui seront les vraies préoccupations de demain. Pour contraster ces propos, des progrès notables apparaissent déjà du côté de la détection audio, qui se profile comme une avancée prometteuse pour renforcer la sécurité dans des scénarios critiques de phishing ou fraude au président via appel audio deepfake. 

La maturité du marché dans ces technologies de pointe s’accélère, et tout laisse à penser que les solutions de détection rattraperont rapidement leur retard face aux dernières avancées en matière de création de deepfakes. Les prochaines années seront déterminantes pour voir émerger des outils plus fiables, plus rapides et mieux intégrés aux besoins métiers.  

Cet article Radar de solutions anti-Deepfake :  étude de l’écosystème des solutions de détection de contenu généré par IA  est apparu en premier sur RiskInsight.

L’intelligence artificielle (IA) occupe désormais une place centrale dans les produits et services offerts par les entreprises et les services publics, en grande partie grâce à l’essor de l’IA générative. Pour soutenir cette croissance et favoriser l’adoption de l’IA, il a été nécessaire d’industrialiser la conception des systèmes d’IA en adaptant les méthodes et procédures de développement de modèles. 

C’est ainsi qu’est né le MLOps, une contraction de “Machine Learning” (le cœur des systèmes d’IA) et “Operations”. À l’instar du DevOps, le MLOps facilite la réussite des projets de Machine Learning tout en assurant la production de modèles performants. 

Cependant, il est crucial de garantir la sécurité des algorithmes pour qu’ils demeurent performants et fiables dans le temps. Pour ce faire, il est nécessaire de faire évoluer le MLOps vers le MLSecOps, en intégrant la sécurité dans les processus, à l’image du DevSecOps. Peu d’entités ont adopté et déployé un processus MLSecOps complet. Dans cet article, nous explorerons en détail la forme que pourrait prendre le MLSecOps. 

Le MLOps, les fondamentaux de développement de modèle d’IA 

Rapprochement avec le DevOps 

Le DevOps est une approche qui combine le développement logiciel (Dev) et les opérations informatiques (Ops). Son objectif est de raccourcir le cycle de vie du développement tout en assurant des livraisons continues de haute qualité. Les principes clés incluent l’automatisation des processus (développement, test et mise en production), la livraison continue (CI/CD) et des boucles de rétroaction rapides. 

MLOps, quant à lui, est une extension des principes DevOps appliqués spécifiquement aux projets de Machine Learning (ML). Les flux de travail sont simplifiés et automatisés au maximum, de la préparation des données d’entraînement à la gestion des modèles en production. Le MLOps se distingue du DevOps sur plusieurs points : 

• Importance des données et des modèles : Dans le Machine Learning, les données et les modèles sont cruciaux. Le MLOps va plus loin en automatisant toutes les étapes du Machine Learning, de la préparation des données aux phases d’entraînement. De plus, un volume de données plus important est souvent utilisé dans les projets de Machine Learning. 
• Nature expérimentale du développement : Le développement en Machine Learning est expérimental et implique de tester et d’ajuster continuellement les modèles pour trouver les meilleurs algorithmes, paramètres et données pertinentes pour l’apprentissage. Cela pose des défis pour l’adaptation du DevOps au Machine Learning, car le DevOps se concentre sur l’automatisation et la stabilité des processus. 
• Complexité des tests et de la recette : La nature évolutive des modèles et la complexité des données rendent les phases de test et de recette plus délicates en Machine Learning. De plus, la surveillance des performances est essentielle pour garantir le bon fonctionnement des modèles en production. Ainsi, en Machine Learning, il faut adapter les procédures de Maintenance en Conditions Opérationnelles pour maintenir la stabilité et la fiabilité des systèmes. 

En somme, une chaîne MLOps partage des éléments communs avec une chaîne DevOps, mais introduit des étapes supplémentaires et accorde une importance particulière à la gestion et à l’utilisation des données. Le graphique suivant souligne en jaune toutes les étapes supplémentaires que le MLOps introduit : 

• Accès et utilisation des données : Cette étape inclut toutes les phases du Data Engineering (collecte, transformation et versionnement des données utilisées pour l’entraînement). L’enjeu est d’assurer l’intégrité des données et la reproductibilité des tests. 
• Recette du modèle : Les recettes et les tests d’intégration en ML sont plus complexes et se déroulent sur trois couches différentes : la pipeline des données, la pipeline du modèle de ML et la pipeline applicative. 
• Monitoring en production : Il s’agit de garantir la performance du modèle dans le temps et d’éviter le “model drifting” (déclin de la performance dans le temps). Pour cela, toutes les déviations (changement instantané, changement graduel, changement récurrent) doivent être détectées, analysées et corrigées si nécessaire. 

 Figure 1 – Adaptation des étapes du DevOps au Machine Learning 

Mettre en place le MLOps nécessite de créer un dialogue entre ingénieur des données et les opérateurs de DevOps 

Le passage au MLOps implique de créer de nouvelles étapes organisationnelles spécifiquement adaptée à la gestion des données. Cela inclut notamment la collecte et la transformation des données d’entrainement, ainsi que les processus de suivi des différentes versions de données.  

En ce sens, la collaboration entre les experts en MLOps, Data Scientists et les Data Engineers est essentielle pour réussir dans ce domaine en constante évolution. L’enjeu principal d’une mise en place d’une chaine MLOps réside donc dans l’intégration des Data Engineers dans les processus DevOps. Ces derniers sont responsables de préparer les données dont les ingénieurs MLOps ont besoin pour entraîner et exécuter des modèles.  

Et la sécurité dans tout ça ? 

L’adoption massive des IA génératives en 2024 nous a fourni une variété d’exemples de compromissions de terme de sécurité. En effet, la surface d’attaque est grande : un acteur malveillant peut à la fois attaquer le modèle en lui-même (vol de modèle, reconstruction de modèle, détournement de l’usage initial) mais également attaquer ses données (extraire des données d’entraînement, modifier le comportement en ajoutant des fausses données, etc.). Pour illustrer ces derniers, nous avons simulé deux attaques réalistes dans de précédents articles : Attaquer une IA ? Un exemple concret ! ou Quand les mots deviennent des armes : prompt injection. 

En parallèle, le MLOps, introduit une automatisation qui accélère la mise en production. Bien que cela puisse réduire le time to market (délais de mise sur le marché), cela augmente également les risques (attaque par supply chain, massification). Il est donc crucial de s’assurer que les risques liés à la cybersécurité et à l’IA sont correctement gérés. 

Comme le fait le DevSecOps pour le DevOps, la chaine de production du MLOps doit être sécurisée. Voici un panorama des principaux risques sur la chaine MLOps : 

Adopter le MLSECOPS 

Intégrer la sécurité dans les équipes MLOPS et renforcer la culture sécurité 

Les principes du MLSecOps doivent être compris par les Data Scientists et les Data Engineers. Pour cela, il est crucial que les équipes de sécurité soient intégrées dès le début du projet. Cela peut se faire de deux manières : 

• Lors de la création d’un nouveau projet, un membre de l’équipe de sécurité est assigné en tant que responsable de la sécurité. Il supervise les avancées et répond aux questions des équipes du projet. 
• Une approche plus agile, similaire au DevSecOps, consiste à désigner un membre de l’équipe comme “Security Champion”. Ce référent cybersécurité au sein de l’équipe projet devient l’interlocuteur privilégié des équipes cyber. Cette méthode permet une intégration plus réaliste de la sécurité dans le projet, mais nécessite une formation adéquate pour le Security Champion. 

Pour que ce changement soit efficace, il est également nécessaire de modifier la perception de la cybersécurité par les équipes projets : 

• En fournissant une formation de base aux équipes pour mieux comprendre les enjeux de la cybersécurité. 
• En intégrant la cybersécurité dans les plateformes de collaboration et de connaissances. 
• En organisant régulièrement des campagnes de sensibilisation. 

Sécuriser les outils de la chaîne MLOPS 

Pour garantir la sécurité des produits, il est essentiel de sécuriser la chaîne de production. Dans le cadre du MLOps, cela signifie s’assurer que tous les outils sont correctement utilisés avec des pratiques intégrant la cybersécurité, qu’il s’agisse du traitement et de la gestion des données (comme MongoDB, SQL, etc.), des outils de surveillance (tel que Prometheus), ou des outils de développement plus ou moins spécifiques (comme MLFlow ou GitHub). 

Par exemple, il est crucial que les équipes restent vigilantes sur des thématiques telles que l’identification et la gestion des identités, la continuité d’activité, la surveillance, et la gestion des données. Les possibilités offertes par les différents outils utilisés tout au long du cycle de vie, ainsi que leurs spécificités, doivent être examinées en lien avec ces enjeux. Idéalement, les caractéristiques de cybersécurité devraient servir de critères de sélection pour choisir l’outil le plus adapté. 

Définir des pratiques en matière de sécurité de l’IA 

Au-delà de la sécurité des outils qui permettent de construire les systèmes d’IA, il convient d’intégrer des mesures de sécurité permettant de prévenir les vulnérabilités spécifiques aux systèmes d’IA. Ces mesures doivent être incorporées dès la conception et tout au long du cycle de vie de l’application, suivant une approche MLSecOps. De la collecte des données à la surveillance du système, il existe de nombreuses mesures de sécurité à intégrer : 

Figure 2 – Les mesures de sécurité applicables tout au long du cycle de vie 

Trois mesures de sécurité à implémenter dans vos processus MLSecOps 

Selon la stratégie de sécurité adoptée, diverses mesures de sécurité peuvent être intégrées tout au long du cycle de vie du MLOps. Nous avons détaillé les principaux mécanismes de défenses pour sécuriser l’IA dans l’article suivant : Sécuriser l’IA : Les Nouveaux Enjeux de Cybersécurité.  

Dans cette partie, nous allons nous attarder sur 3 mesures spécifiques qui peuvent être mises en œuvre pour renforcer la sécurité du MLOps : 

 Figure 3 – Mesures de sécurité sélectionnées 

Contrôler la pertinence des données et les risques d’empoisonnement 

Dans le cadre du Machine Learning, la sécurité des données est primordiale pour prévenir les risques d’empoisonnement et garantir l’intégrité des données traitées.  

Avant de procéder au traitement des données collectées, un contrôle continu de l’origine des données est essentiel afin d’en garantir leur qualité et leur pertinence. Cela est d’autant plus complexe lors de l’utilisation de flux de données externes, dont la provenance et la véracité peut parfois être incertain. Ainsi, le risque majeur réside dans l’intégration de données utilisateurs lors d’un apprentissage en continu. Cela peut conduire à des résultats imprévisibles, comme illustré par l’exemple du ChatBot TAY de Microsoft en 2016. Ce dernier, était conçu pour apprendre à travers les interactions utilisateurs. Cependant, sans une modération adéquate, il a rapidement adopté des comportements inappropriés, reflétant les entrées négatives reçues. Cet incident souligne l’importance d’une surveillance et d’une modération constantes des données d’entrée, en particulier lorsqu’elles proviennent d’interactions humaines en temps réel. 

Diverses techniques d’analyse peuvent être utilisées pour nettoyer un ensemble de données. L’objectif étant de vérifier l’intégrité des données et de supprimer toute données pouvant avoir un impact négatif sur les performances du modèle. Deux méthodes principales sont possibles :  

• D’une part, nous pouvons vérifier individuellement l’intégrité de chacune des données par contrôle des valeurs aberrantes, validation du format ou de métriques caractéristiques… 
• D’autre part, avec une analyse globale, des approches comme la validation croisée et le clustering statistique sont efficaces pour identifier et éliminer les éléments inappropriés de l’ensemble de données. 

Introduire des exemples contradictoires 

Les exemples contradictoires sont des entrées corrompues, modifiées pour induire en erreur les prédictions d’un algorithme de Machine Learning. Ces modifications sont construites pour être indétectables à l’œil humain mais suffisantes pour tromper l’algorithme. Ce type d’attaque exploite les vulnérabilités ou failles présentes dans l’entrainement du modèle pour provoquer des erreurs de prédiction. Pour les réduire, il est alors possible d’apprendre au modèle à identifier et ignorer ce type d’entrée. 

Pour cela, nous pouvons délibérément ajouter des exemples contradictoires aux données d’entraînements. L’objectif est de présenter au modèle des données légèrement altérées, afin de le préparer à identifier et gérer correctement les erreurs potentielles. La création de ce type de données dégradée est complexe. La génération de ces exemples contradictoires, devra être adapté au problème et aux menaces identifiées. Il est crucial de surveiller attentivement la phase d’entraînement afin de s’assurer que le modèle reconnaît efficacement ces entrées incorrectes et sache réagir correctement.  

Modifier les entrées utilisateurs 

La sécurisation des entrées est essentielle pour minimiser les risques liés aux manipulations malveillantes. Une faiblesse importante des LLM (Large Language Models) est leur manque de compréhension contextuelle approfondie et leur sensibilité à la formulation précise des prompts. Une des techniques les plus connue pour exploiter cette vulnérabilité est l’attaque par prompt injection. Il est donc nécessaire d’introduire une étape intermédiaire de transformation des données utilisateur avant leur traitement par le modèle. 

Il est possible de modifier légèrement l’entrée afin de contrer ce type d’attaque, tout en préservant la précision du modèle. Cette transformation peut se faire via diverses techniques (e.g. codage, ajout de bruit, reformulation, compression des caractéristiques, etc.). L’objectif est de conserver uniquement ce qui est essentiel à la réponse. Ainsi, toute information superflue potentiellement malicieuse est écartée. De plus, cette méthode prive l’attaquant de la possibilité d’accéder à la véritable entrée du système. Ce qui empêche toute analyse approfondie des relations entre entrées et sorties et complique ainsi la conception de futures attaques. Il reste toutefois essentiel de tester les différentes mesures implémentées, pour s’assurer qu’elles ne dégradent pas les performances du modèle, garantissant ainsi une sécurité renforcée sans compromettre l’efficacité. 

Avec l’industrialisation de la production d’applications basées sur le Machine Learning et l’IA, la sécurité à grande échelle devient une question organisationnelle cruciale pour le marché. Il est impératif d’entreprendre une transition vers le MLSecOps. Cette transformation repose sur trois piliers principaux : 

• Renforcer la culture de sécurité des équipes de Data Scientists : Il est essentiel que les Data Scientists comprennent et intègrent les principes de sécurité dans leur travail quotidien. Cela permet de créer une culture de sécurité partagée et de renforcer la collaboration entre les différents acteurs. 
• Sécuriser les outils qui produisent les algorithmes de Machine Learning : Il est essentiel de sélectionner des outils de MLOps sécurisés et d’appliquer des bonnes pratiques au sein de outils (gestion des droits, etc.) pour sécuriser « l’usine » à algorithmes de Machine Learning et ainsi réduire la surface de compromission. 
• Intégrer des mesures de sécurité spécifiques à l’IA : Adapter les mesures de sécurité aux particularités des systèmes d’IA est crucial pour prévenir les attaques potentielles et assurer la fiabilité des modèles dans le temps. Il convient donc d’intégrer ces mesures de sécurité dans la chaîne de MLOps à l’aide du MLSecOps. 

Engagez-vous dès aujourd’hui dans la transition vers le MLSecOps. Formez vos équipes, sécurisez vos outils et intégrez des mesures de sécurité spécifiques à l’IA. A ce titre, vous pourrez bénéficier de systèmes d’IA produits industriellement et sécurisés by design.  

Remerciements à Louis FAY et Hortense SOULIER qui ont également contribué à la rédaction de cet article. 

Cet article Adopter le MLSecOps : la clé pour des modèles d’IA fiables et sécurisés  est apparu en premier sur RiskInsight.