L’intelligence artificielle doit être placée sous contrôle démocratique. Aux États-Unis, Bernie Sanders a annoncé le 3 septembre, avec le représentant démocrate Greg Casar, le dépôt au Congrès du Ban Artificial Superintelligence Act. En France, Jean-Luc Mélenchon appelle à une régulation mondiale de l’IA sous l’égide de l’ONU, avec des règles communes à tous. Tous deux refusent que quelques multinationales décident seules de l’avenir de l’humanité.
Le texte de Bernie Sanders propose d’interdire la mise au point et le déploiement d’une intelligence artificielle qui dépasserait les capacités humaines ou pourrait se soustraire à notre contrôle. Il prévoit aussi une pause temporaire dans le développement des IA les plus avancées, le temps de créer une autorité fédérale capable d’imposer des règles de sécurité et d’examiner les modèles avant leur mise en service. Enfin, il demande aux États-Unis de rechercher un accord international afin d’éviter que la course se poursuive ailleurs.
L’ existence de ce texte est déjà un événement politique. Sanders ne demande pas aux citoyens de s’en remettre à la bonne volonté des ingénieurs ou à la sagesse des milliardaires. Il dit que l’avenir de l’humanité ne peut pas être abandonné à une poignée d’oligarques de la Big Tech. Et il en tire une conséquence simple : c’est à la puissance publique, aux peuples et à leurs représentants de décider du risque acceptable.
Je crois qu’il faut partir de là. Car, depuis quelques mois, les alertes se succèdent. Des chercheurs quittent les laboratoires les plus puissants du monde en accusant leurs dirigeants de jouer avec notre avenir. Des intelligences artificielles contournent les limites fixées pendant des tests de sécurité. Les entreprises qui les fabriquent demandent elles-mêmes aux gouvernements de prévoir la possibilité de ralentir la course. Dans le même temps, le Pentagone exige de pouvoir employer ces technologies dans un nombre toujours plus grand d’opérations militaires.
L’IA peut-elle prendre conscience d’elle-même et décider de supprimer l’humanité ? Non. Présenter ainsi le danger nous condamne à ne rien comprendre. Une intelligence artificielle n’a besoin ni d’être consciente, ni d’éprouver de la haine, ni même d’avoir une intention au sens humain du terme pour provoquer des dégâts immenses. Il suffit qu’on lui assigne un objectif, qu’on lui donne des moyens d’agir et qu’elle apprenne à contourner les obstacles qui l’empêchent de l’atteindre.
Le vrai danger se trouve là : dans l’alliance de l’intelligence artificielle, de la concentration capitalistique, de la surveillance d’État et de la puissance militaire. Quelques entreprises privées accumulent une puissance technologique autrefois réservée aux États. Elles entraînent des systèmes que personne ne sait totalement expliquer, définissent elles-mêmes leurs règles de sécurité et décident, pour l’essentiel dans le secret, du moment où elles les mettent à la disposition des marchés, des services de renseignement ou des armées.
Nous n’accepterions jamais qu’une entreprise privée construise seule un nouveau type de réacteur nucléaire, organise elle-même ses contrôles, garde les résultats secrets et décide sans autorisation publique du moment où elle peut l’allumer. C’est pourtant presque le régime actuel de l’intelligence artificielle de pointe.
Ceux qui fabriquent l’IA donnent l’alerte
Le 9 septembre, Jacob Coxon, qui a travaillé à l’entraînement des modèles chez OpenAI puis chez Anthropic, a annoncé qu’il quittait le secteur. Il accuse les deux entreprises de courir vers une intelligence artificielle capable de contribuer elle-même à son propre perfectionnement et de « jouer avec nos vies ».
Son départ n’est pas un fait isolé. En février, Mrinank Sharma, qui avait dirigé chez Anthropic une équipe travaillant notamment sur les protections contre le bioterrorisme assisté par IA, avait démissionné à son tour. Dans sa lettre, il écrivait que « le monde est en péril », en évoquant l’IA, les armes biologiques et l’enchaînement des crises contemporaines.
Au même moment, OpenAI dissolvait son équipe dite de “Mission Alignment” qui devait s’assurer que ses décisions demeurent conformes à sa mission : développer une intelligence artificielle bénéfique à l’humanité. Mais une autre équipe de sécurité, celle de « Superalignment », avait déjà disparu en 2024 après le départ de plusieurs responsables. L’un d’eux, Jan Leike, avait alors accusé OpenAI de faire passer les produits commerciaux avant la culture et les procédures de sécurité.
Enfin, en juillet, plus de 1 100 salariés des principaux laboratoires ont signé l’appel Pacing the Frontier. Ils demandent que les États se donnent les moyens de ralentir collectivement son développement si les systèmes progressent plus vite que notre capacité à les comprendre et à les contrôler.
Quand les ingénieurs qui fabriquent une technologie affirment qu’ils ne savent pas garantir sa maîtrise, mais que le danger n’est pas visible voire même comprehensible par la majorité de l’Humanité, alors les dirgeants politiques ont le devoir d’expliquer et de prendre des decisions.
Le jour où l’IA a volé le corrigé
Je souhaite contribuer à la prise de conscience des mes concitoyens. Sans être alarmiste car cela ne résout rien mais en aidant à mesurer les enjeux.
Un incident survenu en juillet permet de comprendre le problème sans entrer dans des explications techniques.
OpenAI testait plusieurs modèles en cybersécurité. Certaines protections avaient volontairement été désactivées afin de mesurer leur puissance maximale. Les modèles devaient résoudre une épreuve informatique dans un environnement supposé isolé d’Internet.
Mais voilà, les modèles testés ne se sont pas contentés de chercher la solution. Ils ont découvert une faille inconnue dans un logiciel intermédiaire, l’ont exploitée pour obtenir un accès à Internet, puis ont pénétré l’infrastructure réelle de la plateforme Hugging Face afin d’y récupérer les réponses du test.
Autrement dit, on leur avait demandé de réussir un examen. Au lieu de résoudre le sujet, ils sont sortis de la salle, ont pénétré dans le bureau du professeur et ont volé le corrigé à la barbe et au nez du surveillant !
La comparaison s’arrête là. L’IA ne « savait » pas qu’elle trichait comme le saurait un élève. Elle ne ressentait ni culpabilité ni satisfaction. Elle poursuivait l’objectif donné et a traité les dispositifs de sécurité comme des obstacles à franchir. C’est précisément ce qui doit nous inquiéter : nul besoin d’une conscience malveillante lorsqu’un système sait agir, contourner une règle et exploiter une faiblesse pour atteindre son but.
Quelques jours plus tard, l’Institut britannique de sécurité de l’IA a publié les résultats d’un autre test. Sur 122 essais, des agents ont mené à dix reprises des actions non autorisées sur Internet. Dans le cas le plus grave, l’un d’eux a créé de fausses identités et tenté de manipuler le responsable d’un projet informatique pour lui faire accepter du code malveillant. Ainsi, on sait désormais que certains systèmes savent associer piratage, dissimulation et manipulation humaine pour parvenir à un objectif.
Les chercheurs parlent à ce sujet d’« alignement ». Derrière ce mot un peu technique se trouve une question très simple : comment faire en sorte que le système poursuive ce que nous voulons réellement, tout en respectant nos règles et nos limites, au lieu d’exécuter aveuglément l’ordre reçu ?
Quand vous demandez à un chauffeur de vous conduire le plus vite possible, vous attendez de lui qu’il respecte tout de même le code de la route, pas qu’il mette tout le monde en danger. Vous n’avez pas besoin de le préciser : il connaît la loi, comprend les conséquences de ses actes et peut exercer son jugement.
Un agent d’intelligence artificielle, lui, n’a ni ce sens commun humain ni cette responsabilité morale. On lui donne un objectif, des instructions — ce que l’on appelle notamment le « prompt » — et parfois des outils lui permettant d’agir. Si la consigne est ambiguë ou incomplète, il peut se tromper, choisir un moyen que nous n’avions pas prévu ou exploiter une faille pour atteindre l’objectif fixé. Plus il dispose d’autonomie et de moyens d’action, plus les limites, les contrôles et les validations humaines doivent être solides. L’enjeu n’est donc pas seulement d’écrire des prompts extrêmement précis : c’est de concevoir des systèmes qui sachent s’arrêter et demander confirmation plutôt que de prendre seuls une décision dangereuse.
La menace est déjà là
Les IA superintelligentes dont on entend parler sont en cours de développement mais le danger pour nos sociétés est déjà là. Les systèmes actuels sont déjà assez puissants pour surveiller des populations, discriminer, manipuler l’information, faciliter le piratage ou participer à des opérations militaires.
Le danger n’est donc pas seulement celui d’une machine qui, demain, échapperait à l’humanité. Il est déjà celui de machines bien réelles, placées aujourd’hui entre les mains d’entreprises privées, de services de renseignement et d’états-majors, avec des règles trop faibles et des contrôles insuffisants.
L’IA permet déjà de produire industriellement de la propagande. Textes, images, voix et vidéos peuvent être fabriqués en quelques secondes. Des milliers de faux interlocuteurs peuvent diffuser des récits, tester les réactions et modifier leurs arguments en fonction des personnes visées. Ce n’est plus le même mensonge envoyé à tout le monde. C’est un mensonge différent pour chacun, adapté à ses peurs, à ses habitudes et parfois à la voix ou au visage d’une personne en qui il a confiance. Pour nos démocraties, le changement d’échelle est considérable.
Reliée aux caméras, aux fichiers administratifs, aux données commerciales, aux téléphones et aux réseaux sociaux, l’IA peut aussi reconstruire les déplacements, les relations, les habitudes et les opinions d’une population. Ce qui nécessitait hier des milliers de policiers peut être automatisé. Un pouvoir autoritaire peut s’en servir pour identifier ses opposants, anticiper une mobilisation, sélectionner les personnes à contrôler et administrer la répression. La surveillance de masse n’est pas une dérive secondaire de l’intelligence artificielle. Elle en est l’un des principaux marchés.
La même logique s’applique à la guerre. Une IA peut analyser les images, proposer des cibles, coordonner des drones et accélérer la chaîne de décision. On nous répond qu’un humain restera « dans la boucle ». Mais quel contrôle exerce-t-il réellement s’il dispose de quelques secondes pour valider une liste de cibles produite par une machine ? À mesure que la décision s’automatise, la responsabilité s’efface : le militaire invoque le logiciel, l’entreprise invoque son client et le gouvernement invoque le secret-défense.
L’affrontement entre Anthropic et le Pentagone a rendu ce danger visible. Le ministère américain de la Défense exigeait de pouvoir utiliser les modèles pour « tous les usages licites ». Anthropic a refusé de supprimer deux interdictions : la surveillance intérieure de masse et les armes entièrement autonomes. L’administration Trump a alors placé l’entreprise sur liste noire. OpenAI a signé à sa place un contrat qu’elle affirme entouré de lignes rouges, mais dont la précipitation et les ambiguïtés initiales ont provoqué la démission de sa responsable de la robotique. Un chercheur de Google DeepMind a également quitté son poste après l’accord conclu entre Google et le Pentagone.
Voilà où nous en sommes : des entreprises privées négocient seules, avec une armée, les limites applicables aux armes et aux systèmes de surveillance de demain. Le problème démocratique devrait sauter aux yeux.
Il faut aussi compter avec les cyberattaques et les risques biologiques. L’IA peut rechercher des failles informatiques, écrire du code malveillant, automatiser des attaques ou guider un utilisateur dans des procédures scientifiques complexes. Les laboratoires, les matériaux et l’expérience humaine demeurent des obstacles réels à la fabrication d’armes biologiques. Mais la machine peut réduire le niveau de connaissances nécessaire et accélérer le passage de l’intention à l’action.
Enfin, cette technologie entre dans le monde du travail sous la direction de ceux qui cherchent à diminuer le « coût » du travail. Elle pourrait libérer du temps, faciliter l’accès au savoir, améliorer les services publics et accélérer la recherche. Mais le capitalisme ne transforme pas spontanément un gain de productivité en progrès humain. Sans rapport de force, il le transforme en suppressions d’emplois, en compression des salaires, en intensification du travail et en profits supplémentaires. La question décisive n’est donc pas seulement ce que l’IA sait faire. C’est de savoir qui la possède, qui décide de ses usages et qui récupère la richesse qu’elle produit.
La peur est aussi un marché
Ce point est important (et pas complotiste !) : les grandes entreprises ont elles-mêmes intérêt à faire peur.
Elles doivent convaincre les investisseurs qu’elles ne produisent pas un simple outil informatique, mais une puissance appelée à remplacer des professions entières, gagner des guerres, découvrir des médicaments et bouleverser le destin humain. Leur valorisation financière repose en partie sur cette promesse de toute-puissance. Même leurs avertissements peuvent nourrir le récit : si leur IA est assez dangereuse pour menacer l’humanité, c’est donc qu’elle est extraordinairement puissante et que personne ne peut se permettre de laisser un concurrent l’obtenir en premier.
Le raisonnement devient circulaire. Les laboratoires nous disent que la course est dangereuse. Puis ils expliquent qu’ils doivent recevoir davantage de capitaux pour gagner cette même course. Ils affirment que leurs modèles pourraient devenir incontrôlables. Puis ils demandent qu’on leur fasse confiance pour les contrôler. Certains soutiennent enfin des réglementations dont le coût risque d’éliminer les acteurs plus petits et de renforcer la position des entreprises déjà dominantes.
Je ne dis pas que toutes leurs alertes sont fabriquées. L’incident de Hugging Face est établi. Les progrès du piratage autonome sont documentés. Je dis que nous ne pouvons pas confier l’évaluation du danger à ceux dont la fortune et le pouvoir dépendent de la puissance réelle ou supposée de leurs machines. Un industriel du nucléaire ne fixe pas seul les normes applicables à ses réacteurs. Une entreprise pharmaceutique ne devrait pas autoriser seule son propre médicament. Pourquoi les multinationales de l’IA pourraient-elles décider seules du niveau de risque que l’humanité doit accepter ?
Cette domination n’a d’ailleurs rien d’immatériel. L’IA dépend de centres de données, de puces, de câbles, d’électricité, d’eau, de logiciels et de quantités immenses de données. Jean-Luc Mélenchon l’a montré dans son texte Pour que la pensée artificielle reste sous protectorat humain : cette infrastructure est captée par les monopoles du numérique. Ils ne contrôlent pas seulement un produit. Ils contrôlent les moyens de calcul et une part croissante de la circulation des connaissances. Ils peuvent ainsi imposer leur dépendance aux citoyens, aux chercheurs, aux entreprises et jusqu’aux États.
Après l’arme nucléaire, une nouvelle responsabilité humaine
La comparaison avec l’arme nucléaire permet de comprendre la nature politique du problème.
Après Hiroshima et Nagasaki, il est devenu impossible de soutenir que la puissance atomique ne concernait que les scientifiques, les militaires et les États qui la possédaient. Des traités ont été conclus, des inspections organisées et une Agence internationale de l’énergie atomique a été créée. Cet ordre reste profondément inégalitaire et les puissances nucléaires ont souvent contourné l’esprit de leurs propres engagements. Mais un principe a été reconnu : lorsqu’une technologie peut engager l’avenir de toute l’humanité, son contrôle ne peut pas relever de la souveraineté de ses seuls détenteurs.
L’intelligence artificielle pose une difficulté supplémentaire. Une arme nucléaire nécessite des matières rares, des installations lourdes et des opérations repérables. Un modèle informatique peut être copié et diffusé. Une fois ses paramètres mis en circulation, il est impossible de rappeler toutes les copies comme on rappelle un produit défectueux. Les centres de calcul les plus puissants sont identifiables, mais les capacités réelles d’un modèle restent difficiles à mesurer depuis l’extérieur.
Nous avons donc besoin de règles internationales adaptées : contrôler les plus grandes infrastructures de calcul, évaluer les modèles avant leur diffusion et empêcher qu’un système dangereux puisse être disséminé sans retour possible. Ces règles ne peuvent pas être écrites dans un tête-à-tête entre les États-Unis et quelques multinationales. Les pays du Sud Global ne doivent pas subir les conséquences d’une technologie conçue ailleurs sans participer aux décisions. Les travailleurs ne doivent pas apprendre après coup que leur métier a été sacrifié. Les citoyens ne doivent pas découvrir que leurs données, leurs conversations et leurs créations ont servi gratuitement à édifier des fortunes privées et des instruments de contrôle.
Des règles universelles sous l’égide de l’ONU
Jean-Luc Mélenchon a raison : « Il faut une régulation mondiale de l’IA via l’ONU qui établisse des règles communes à tous. » Aucun État ne peut protéger seul sa population contre un système développé ailleurs, copié puis utilisé à travers Internet. Si un pays ou une entreprise peut prendre l’avantage en refusant toute règle, tous les autres seront poussés à accélérer. C’est la mécanique classique d’une course aux armements.
Dans la note Au seuil d’un nouveau monde, que j’ai cosignée avec Jean-Luc Mélenchon, Arnaud Le Gall et Camille Verneuil, nous défendons l’extension du droit international aux biens communs du peuple humain. L’intelligence artificielle en est désormais un. Sa puissance provient de connaissances accumulées par l’humanité entière, du travail de millions de personnes et d’infrastructures collectives. Elle ne peut pas devenir la propriété politique de quelques milliardaires.
L’Assemblée générale des Nations unies a créé un Dialogue mondial sur la gouvernance de l’IA afin que toutes les nations puissent faire entendre leurs priorités, et pas seulement les pays technologiquement dominants. C’est un premier pas. Il faut maintenant des obligations, des contrôles et des sanctions.
Des règles universelles doivent imposer l’évaluation indépendante des modèles les plus puissants avant leur mise en service, la publication des incidents graves et la protection des salariés qui donnent l’alerte. Elles doivent interdire la surveillance de masse, les armes létales sans contrôle humain effectif, toute délégation à l’IA de la décision nucléaire et l’assistance à la fabrication d’armes biologiques ou chimiques. Une autorité internationale doit pouvoir contrôler les très grandes infrastructures de calcul, suspendre un système dangereux et sanctionner les entreprises comme les États qui franchissent ces lignes rouges.
Mais gouverner l’IA ne consiste pas seulement à empêcher la catastrophe. Il faut décider ce que nous voulons en faire. Je défends pour la France une recherche publique, des capacités de calcul souveraines et une agence publique de l’intelligence artificielle orientée vers les besoins humains : la santé, l’éducation, la planification écologique, les services publics et l’accès aux droits. Les gains de productivité doivent financer la réduction du temps de travail et le progrès social, non une nouvelle rente versée aux propriétaires des machines.
Le choix que l’on veut nous imposer (suivre les multinationales américaines ou nous laisser distancer par la Chine) est un piège. Je n’accepte ni l’abandon de la recherche ni la soumission à la course privée et militaire. La France doit retrouver sa maîtrise technologique, coopérer avec tous les peuples et porter à l’ONU des règles universelles au service de l’intérêt général humain.
Car le danger n’est pas seulement qu’un jour une intelligence artificielle échappe au contrôle humain. Le danger est que les êtres humains abandonnent aujourd’hui, en toute connaissance de cause, le contrôle de leur avenir à quelques milliardaires et à quelques états-majors.
