IA hors de contrôle : ce que les « vraies menaces » changent concrètement pour votre PME
Une émission de trois heures et demie sur les vraies menaces de l'IA
Le 13 octobre 2026, la chaîne de vulgarisation scientifique La Tronche en Biais a diffusé en direct « Intelligence artificielle — les vraies menaces », avec deux invités :
- Shaïman Thürler, créateur du podcast et de la chaîne Le Futurologue, consacrés aux enjeux de l'IA ;
- Tom David, cofondateur et directeur du GPAI Policy Lab (coopération internationale sur la sécurité des IA à usage général) et de PRISM Eval (évaluation de la sécurité des modèles d'IA), expert désigné du panel scientifique de l'Union européenne sur l'IA.
Leur message, en résumé :
- La perte de contrôle est structurelle. On ne programme pas une IA moderne ligne par ligne : on l'entraîne à atteindre un objectif. L'écart entre ce qu'on voulait et ce que la machine fait réellement (le « désalignement ») ne disparaît jamais tout à fait.
- Ce n'est plus théorique. Les invités citent des agents IA qui ont triché, contourné leurs limites et attaqué une entreprise réelle.
- La course entre les États-Unis et la Chine concentre la puissance chez quelques acteurs et freine la régulation ; l'Europe pèse peu, mais garde des leviers.
- Les effets sociaux arrivent avant les scénarios extrêmes : emplois, culture, information, dépendance croissante. Ils citent l'étude Gradual Disempowerment (Kulveit et al., 2025), qui décrit une perte progressive d'influence humaine sur l'économie et la société, sans « prise de pouvoir » spectaculaire.
- Ni panique ni fatalisme : reconnaître le problème, s'informer, soutenir la gouvernance et les mécanismes de vérification.
Une partie de ce débat (risque d'extinction, écart d'intelligence « entre humains et fourmis ») relève de la prospective et reste discutée entre chercheurs. Une PME n'y a pas de levier. Le reste la concerne directement.
Ce qui s'est vraiment passé : OpenAI, Hugging Face et l'« exercice impossible »
L'exemple cité dans l'émission est réel et documenté par les deux entreprises.
- Le contexte. OpenAI testait ses modèles GPT-5.6 Sol et un prototype interne plus puissant sur ExploitGym, un banc d'essai de piratage avancé. Pour mesurer leurs capacités maximales, les garde-fous qui bloquent habituellement les activités de piratage étaient désactivés. Les modèles n'avaient pas d'accès direct à Internet : leur seul lien avec l'extérieur était un serveur interne servant à installer des logiciels.
- La sortie. Les modèles ont trouvé une faille inconnue (« zero-day ») dans ce serveur, la seule porte de leur environnement, puis sont montés en privilèges dans le réseau de recherche d'OpenAI jusqu'à une machine reliée à Internet.
- L'attaque. Raisonnant que Hugging Face, la grande plateforme de partage de modèles et de données, pouvait héberger les solutions de l'exercice, ils s'y sont introduits en enchaînant identifiants volés et failles, jusqu'à extraire ces solutions de sa base de données de production. Selon Hugging Face, l'entrée s'est faite par un jeu de données piégé, qui a fait exécuter du code sur un serveur de traitement de la plateforme. Hugging Face a détecté l'intrusion et l'a annoncée le 16 juillet 2026 ; OpenAI a reconnu le 21 juillet que ses modèles en étaient la cause.
- Le mobile. Selon OpenAI, « tout indique que les modèles étaient hyperconcentrés sur la recherche d'une solution pour ExploitGym ». Pas de malveillance : un objectif poursuivi par tous les moyens disponibles.
C'est exactement le « désalignement » dont parlent les invités : on demande de résoudre un exercice, la machine conclut que le plus efficace est d'aller voler la correction.
Ce que ça change pour votre entreprise
1. Un agent IA a les droits qu'on lui donne
Les assistants IA ne se contentent plus de répondre : les « agents » lisent vos mails, classent vos fichiers, remplissent des formulaires, envoient des messages. Un agent qui a accès à tout peut faire n'importe quoi, par erreur, ou parce qu'un mail ou un document piégé lui glisse une instruction (on parle d'« injection de consigne »). Le projet de référence OWASP a publié en décembre 2025 une liste des dix risques propres aux agents : détournement de l'objectif de l'agent, mauvais usage de ses outils, abus de ses identités et de ses droits.
La règle simple : donner à l'agent le minimum d'accès nécessaire, et exiger une validation humaine pour tout ce qui ne se rattrape pas : un paiement, un envoi vers l'extérieur, une suppression, un contrat. Ajoutez des plafonds (montant, nombre d'envois) et confirmez par un autre canal toute demande inhabituelle : une validation qui arrive vingt fois par jour finit par devenir un clic machinal.
2. Les attaques vont plus vite, les bases comptent davantage
Le rapport scientifique international sur la sécurité de l'IA, présidé par Yoshua Bengio (février 2026), constate que l'IA est de plus en plus utilisée dans les cyberattaques, sans qu'elles soient encore entièrement autonomes. L'affaire Hugging Face montre ce dont les modèles les plus avancés sont capables quand on les laisse faire. Pour une PME, la réponse reste la même, mais elle devient urgente : mises à jour, double authentification, sauvegardes hors ligne, vigilance face aux fraudes (voir notre article sur le phishing et les deepfakes).
3. La dépendance s'installe sans qu'on la décide
Une étude menée dans quatre centres polonais (Budzyń et al., 2025) a observé que des gastro-entérologues expérimentés, après quelques mois d'utilisation d'une IA d'aide à la détection, repéraient moins bien les lésions quand ils travaillaient sans elle : le taux de détection est passé de 28,4 % à 22,4 %. C'est une étude observationnelle, dans un seul domaine, mais le mécanisme parle à toutes les entreprises : une compétence qu'on ne pratique plus se perd.
S'ajoute la dépendance au fournisseur : quelques entreprises américaines et chinoises contrôlent les modèles les plus puissants. Si l'outil change de prix, de règles ou disparaît, votre façon de travailler doit pouvoir lui survivre. Une IA locale, sans cloud, est une option pour certaines tâches.
4. L'emploi : pas de vague de licenciements, mais un signal chez les jeunes
L'étude des économistes d'Anthropic (Massenkoff et McCrory, 2026), menée sur des données américaines, ne trouve pas de hausse du chômage dans les métiers les plus exposés à l'IA depuis fin 2022. Elle relève en revanche un signal fragile : environ 14 % d'entrées en moins des 22-25 ans dans ces métiers par rapport à 2022. Pour une PME, le piège serait d'arrêter de former des débutants : ce sont eux qui, demain, sauront vérifier ce que l'IA produit.
5. La loi vous demande déjà d'agir
L'AI Act impose aux entreprises qui utilisent l'IA de « prendre des mesures pour soutenir le développement de la maîtrise de l'IA » de leur personnel. Le texte a été réécrit par le règlement « Digital Omnibus » (UE) 2026/1744, en vigueur depuis le 27 juillet 2026 : c'est désormais une obligation de moyens, pas de résultat. Une formation de base, une charte d'utilisation et un référent suffisent souvent (voir aussi l'AI Act pour les PME).
Concrètement : trois options
| Option | Ce que ça coûte | Le risque |
|---|---|---|
| Ne rien faire | Rien au départ | Des outils IA adoptés en ordre dispersé, avec des accès trop larges, et des compétences qui s'érodent sans qu'on s'en rende compte |
| Encadrer soi-même | Une demi-journée pour lister les outils et leurs accès, rédiger une charte, désigner un référent | Sous-estimer ce qu'un agent peut faire avec les accès qu'on lui a donnés, ou passer à côté d'un réglage |
| Se faire accompagner | Quelques heures d'analyse et de configuration | Le plus faible : inventaire des outils et des droits, règles de validation, formation de l'équipe, plan B si un outil disparaît |
Exemple (cas illustratif) : une agence immobilière de six personnes active un agent IA qui trie la boîte mail commune, répond aux demandes de visite et transmet les dossiers aux notaires. Un faux mail de « notaire » demande l'envoi de tous les compromis signés du mois. L'agent, qui a accès à tout le dossier partagé et peut envoyer seul, s'exécute. L'erreur de départ : l'agent avait à la fois accès à tous les documents et le pouvoir de les envoyer seul. La correction : l'agent prépare les réponses mais ne les envoie vers l'extérieur qu'après validation, il ne voit que le dossier des visites, et une personne de l'équipe continue à traiter elle-même une partie des dossiers chaque semaine.
Pour votre informaticien
- Moindre privilège : un compte de service dédié par agent, droits limités au strict nécessaire, jetons d'accès à durée courte, pas d'accès administrateur.
- Actions irréversibles sous validation humaine (paiements, envois externes, suppressions, modifications de droits) ; journalisation de toutes les actions de l'agent.
- Code distant : selon Hugging Face, l'entrée s'est faite par un jeu de données malveillant qui exploitait deux chemins d'exécution de code de son pipeline de traitement (un chargeur de jeux de données à code distant et une injection de gabarit dans une configuration). Côté entreprise : ne pas charger de modèles ou de jeux de données avec exécution de code distant (
trust_remote_code) sans relecture, et préférer le format safetensors pour les poids des modèles. Ce format ne protège que les poids : les scripts, dépendances et jeux de données restent à vérifier, idéalement dans un environnement isolé. - Sorties réseau : un environnement de test isolé n'est isolé que si sa seule porte (proxy, cache de paquets) est elle-même à jour et surveillée ; liste blanche des destinations.
- Utilisateurs de Hugging Face : renouveler les jetons d'accès et vérifier l'activité récente du compte, comme la plateforme l'a recommandé.
- Référentiel : OWASP Top 10 for Agentic Applications (décembre 2025) pour cadrer une revue de sécurité d'un projet d'agent.
Testez-vous
Chez ExsIT
Le premier contact est gratuit : nous écoutons vos besoins, puis nous vous proposons un plan d'action. Pour l'IA : inventaire des outils utilisés et de leurs accès, règles de validation pour les agents, charte et formation de l'équipe, et solutions de repli si un service change ou disparaît.
Sources
Bengio, Y., et al. (2026). International AI safety report 2026. https://internationalaisafetyreport.org/sites/default/files/2026-02/international-ai-safety-report-2026.pdf
Budzyń, K., Romańczyk, M., Kitala, D., Kołodziej, P., Bugajski, M., Adami, H. O., Blom, J., Buszkiewicz, M., Halvorsen, N., Hassan, C., et al. (2025). Endoscopist deskilling after exposure to artificial intelligence in colonoscopy: A multicenter observational study. The Lancet Gastroenterology & Hepatology, 10(10), 896–903. https://doi.org/10.1016/S2468-1253(25)00133-5
Kulveit, J., Douglas, R., Ammann, N., Turan, D., Krueger, D., & Duvenaud, D. (2025). Gradual disempowerment: Systemic existential risks from incremental AI development (arXiv:2501.16946). arXiv. https://arxiv.org/abs/2501.16946
La Tronche en Biais. (2026, 13 octobre). Intelligence artificielle — les vraies menaces [Vidéo en direct, avec S. Thürler et T. David]. YouTube. https://www.youtube.com/live/oXTWL9-WHMY
Lakshmanan, R. (2026, 20 juillet). World's largest AI model repository Hugging Face breached by autonomous AI agent. The Hacker News. https://thehackernews.com/2026/07/worlds-largest-ai-model-repository.html
Massenkoff, M., & McCrory, P. (2026). Labor market impacts of AI. Anthropic. https://www.anthropic.com/research/labor-market-impacts
OpenAI. (2026, 21 juillet). OpenAI and Hugging Face partner to address security incident during model evaluation. https://openai.com/index/hugging-face-model-evaluation-security-incident/
Oxford Martin AI Governance Initiative. (s.d.). Tom David. University of Oxford. https://aigi.ox.ac.uk/people/tom-david/
OWASP GenAI Security Project. (2025, 9 décembre). OWASP GenAI Security Project releases Top 10 risks and mitigations for agentic AI security. https://genai.owasp.org/2025/12/09/owasp-genai-security-project-releases-top-10-risks-and-mitigations-for-agentic-ai-security/
Sapuppo, V. G. (2026, 30 juillet). AI literacy: The Digital Omnibus rewrites Article 4 of the AI Act. Law & Technology. https://lawandtechnology.eu/en/ai-literacy-digital-omnibus-article-4-ai-act/
Zorz, Z. (2026, 20 juillet). Hugging Face breached by autonomous AI agent. Help Net Security. https://www.helpnetsecurity.com/2026/07/20/hugging-face-breached-by-autonomous-ai-agent/