Objectifs de la formation

• Comprendre les vulnérabilités des systèmes d’IA et les techniques pour les protéger.
• Comprendre les enjeux de sécurisation des systèmes IA dans des environnements industriels et organisationnels, ainsi que les spécificités liées à la protection des modèles génératifs.
• Tirer parti des capacités de l’IA pour renforcer la défense des systèmes d'information.
• Explorer les différentes formes d’utilisation malveillante de l’IA, des contenus frauduleux aux attaques physiques sur systèmes connectés, et apprendre à détecter et contrer ces menaces.

---

Programme de la formation

Introduction aux menaces et vulnérabilités des modèles IA (ML/DL)

• Introduction historique, vocabulaire, dates clefs :
  • Évolution de l'IA et du Machine Learning : des premiers algorithmes aux modèles avancés.
  • Histoire des cyberattaques sur l’IA : des premières vulnérabilités aux menaces modernes.
  • Différenciation des modèles : Machine Learning, Deep Learning, Reinforcement Learning, IA Générative.
• Attaques par empoisonnement, évasion ou exfiltration. Vocabulaire essentiel.

Vulnérabilité des pipelines IA

• Surface d’attaque (modèle, données, cible). Cas particulier des IA dites « de capteurs »/embarquées.
• Différences selon le type d’accès au modèle (boîte blanche vs boîte noire).
• Lexique plus avancé : Data poisoning, Model inversion, Membership inference, Adversarial attacks…
• Étude (no-code) de cas réels/historiques.

Méthodes générales de sécurisation

• Contrôle des données d’entrée. Régularisation des modèles.
• Confidentialité différentielle et techniques de préservation de la vie privée.

Zoom technique sur l’attaque et la défense des modèles d’IA

• Techniques d’attaque :
  • Adversarial Attacks : attaques générées par IA contre IA. Propriétés des réseaux de neurones importantes dans les mécanismes d’attaque/défense. Description technique des attaques FGSM, PGD et CW.
  • Attaques sur la propriété intellectuelle : Model Stealing : extraction des modèles depuis des API publiques. Suppresion de watermarking (traité après la partie associée dans Stratégies de défense).
  • Retour sur le data poisoning
• Stratégies de défense :
  • Gradient Masking, détection des intrusions, techniques de robustesse IA.
  • Sécurisation des API de modèles ML (rate limiting, monitoring, validation des inputs). Watermarking.
  • Atelier pratique : implémentation guidée d’une attaque adversariale sur un (petit) modèle d’image en utilisant un framework de Deep Learning standard.

Sécurisation des modèles génératifs

• Risques liés aux IA génératives
  • Prompt Injection Attacks exploitant les failles du prompt engineering, jailbreak, manipulation d’outputs.
  • Fuites de données d’entraînement (inversion, exfiltration).
  • Risques liés au Model Context Protocol.
• Méthodes de protection
  • Watermarking des modèles, détection de prompts malveillants.
  • Mécanismes de filtrage automatiques (ex. OpenAI Moderation API, RLHF).
• Études de cas pratiques
  • Analyse d’un jailbreak prompt, stéganographie et évaluation des solutions de défense.
  • Vulnérabilités dans des implémentations MCP.

Sécurité opérationnelle et cybersécurité industrielle

• Attaques sur infrastructures critiques :
  • Vulnérabilités SCADA/IoT : Stuxnet, détournement de capteurs industriels.
  • Menaces sur l’IA dans l’automatisation industrielle.
• Stratégies de protection :
  • Sécurisation des systèmes IA connectés aux infrastructures critiques.
  • Introduction aux architectures Zero Trust pour l’IA en entreprise.

Travaux pratiques

Détection d’une attaque sur un modèle utilisé dans un contexte industriel.

Sécurité des IA en entreprise : gouvernance et conformité

• Réglementation et normes de cybersécurité IA :
  • ISO 27001, 27002 et NIST AI Risk Management Framework.
  • IA Act et implications pour les entreprises.

Travaux pratiques

Analyse de conformité IA dans un projet d’entreprise.

Rôle de l’IA dans la cybersécurité

• Qu’apporte l’IA pour la sécurité ? (Amélioration des capacités de détection, complexité des menaces modernes, volume massif de données).
• Cas d’usage classiques (détection d’intrusions, analyse des malwares, gestion des vulnérabilités, détection de fraude, authentification biométrique).
• Principales techniques utilisées.

Travaux pratiques

Détection d’anomalies sur un dataset d’activité réseau.

IA hybride, agents IA et cybersécurité avancée

• Retrieval-Augmented Generation (RAG) et cybersécurité :
  • IA hybride pour améliorer la détection des menaces.
  • Applications en SOC et documentation automatisée (MITRE ATT&CK, CVE).
• Agents IA et menaces émergentes :
  • Introduction aux agents autonomes (AutoGPT, BabyAGI, CrewAI).
  • Automatisation des SOC et réponse proactive aux incidents.
  • Risques : contournement des restrictions, manipulation des agents.
• AIOps : Intelligence Artificielle appliquée aux Opérations IT
  • Définition et enjeux de l'AIOps (Artificial Intelligence for IT Operations).
  • Automatisation des opérations de cybersécurité :
  • Détection proactive d’incidents grâce à l’IA.
  • Agents IA pour la surveillance d’un système et la détection de menaces (discussion technique).
• Les perspectives futures sur le sujet.

Génération de contenu, deepfakes, ingénierie sociale

• Génération de contenus malveillants (phishing avancé, usurpation d’identité).
• Impact des GAN (Generative Adversarial Networks) sur la fraude :
  • Création de fausses identités numériques et détournement d’authentification.
  • Études de cas : fraudes par deepfake (ex. arnaque au PDG de 25M$).
• Prévention et détection :
  • Les deepfakes et leur détection (discussion technique).
  • Authentification avancée pour contourner les usurpations vocales et vidéo.

Attaques physiques IA sur IA et IoT

• Menaces sur les dispositifs connectés :
  • Attaques side-channel (ex. keylogger acoustique basé sur IA).
  • Manipulation des véhicules autonomes (ex. détournement des LIDAR).
• Stratégies de sécurisation :
  • Sécurité des assistants vocaux contre l’exploitation malveillante.
  • Surveillance et détection des anomalies sur les objets connectés IA.