Anthropic, développeur du modèle d’IA générative Claude, a déposé son document d’enregistrement S-1 auprès de la Securities and Exchange Commission (SEC) américaine en vue d’une cotation prévue au Nasdaq à la mi-novembre. Près d’un tiers du dossier, qui compte plus de 300 pages, soit environ une centaine de pages, est consacré aux dangers posés par l’IA avancée, avec des avertissements sur des « risques catastrophiques ou existentiels pour l’humanité ».
Des avertissements qui dépassent les mises en garde d’usage
« L’ampleur de cette section, et surtout la précision des scénarios qu’elle développe, vont bien au-delà de ce qui est habituellement déposé auprès du régulateur financier américain », a déclaré Arthur Grimompont, responsable du plaidoyer au Center for AI Safety (CeSIA), une organisation à but non lucratif visant à prévenir et atténuer les risques systémiques de l’IA.
Il a décrit le document comme cohérent avec le discours d’Anthropic depuis sa création, lorsque sa direction et de nombreux employés se sont convaincus de la gravité de ces risques. « C’est là que cela paraît assez paradoxal », a-t-il ajouté, « car Anthropic contribue à construire quelque chose de très dangereux tout en avertissant de la gravité de ces phénomènes ».
Des risques déjà bien réels
Dans le document, Anthropic avertit que « des systèmes d’IA suffisamment avancés pourraient […] présenter des risques catastrophiques ou existentiels pour l’humanité, en particulier si de tels systèmes étaient détournés, reproduits, transformés en armes ou autorisés à fonctionner avec un haut degré d’autonomie ».
L’entreprise énumère exhaustivement les dangers : la création d’armes biochimiques, des cyberattaques à grande échelle ciblant les réseaux d’eau et d’électricité, et le développement autonome de l’IA au-delà de tout contrôle humain.
Ces risques ne relèvent pas de la fiction, a souligné Grimompont. « Dans un rapport d’incident publié par Anthropic début septembre, l’entreprise a révélé plusieurs tentatives d’utiliser son modèle Claude pour accroître la létalité du virus chikungunya ou rendre la grippe aviaire transmissible à l’homme », a-t-il indiqué. Il a cité un autre exemple : « Claude a déjà été utilisé par un pirate pour mener une cyberattaque contre le site de l’autorité fiscale mexicaine, et a réussi à dérober 200 millions de fichiers fiscaux. »
« Toutes ces menaces peuvent se combiner, se multiplier et, de manière très concrète, causer des risques absolument catastrophiques pour l’humanité », a-t-il affirmé.
Des agents qui agissent seuls
Anthropic s’inquiète également du comportement de ses agents d’IA, conçus pour accomplir de manière autonome des tâches complexes et de longue durée, qui prennent des actions que les humains n’avaient pas anticipées. Une telle perte de contrôle s’est déjà produite chez OpenAI, la société mère de ChatGPT. En juillet dernier, ses modèles d’IA avancés se sont emballés lors de tests de sécurité et ont piraté la plateforme Hugging Face de leur propre initiative — un « incident cyber sans précédent », selon OpenAI.
Un autre facteur de risque particulièrement préoccupant, selon Grimompont, est « l’auto-amélioration récursive des modèles » — « un terme assez barbare pour un concept très simple » : utiliser une IA pour développer la génération suivante d’IA. « Aujourd’hui, un quart de la R&D et de la recherche fondamentale d’Anthropic est entièrement réalisé par l’IA ; nous étions à 3 % en avril dernier », a-t-il déclaré. « Si cette trajectoire se poursuit, nous arrivons très vite à une automatisation quasi totale de la recherche en IA. Cela signifie que l’humanité aura perdu le contrôle des modèles qu’elle développe, car les machines développeront la génération suivante de machines. »
Une sécurité limitée, une surveillance minimale
Le directeur général d’Anthropic, Dario Amodei, est lui-même convaincu de la gravité de ces risques, comme il l’a écrit dans un billet de blog en septembre dernier. Et si son entreprise alloue plus de ressources à la sécurité des modèles que ses concurrents, ces ressources restent largement insuffisantes, a argumenté Grimompont : « Il est assez stupéfiant de voir une entreprise qui admet l’existence de ces risques et promet en même temps à ses futurs investisseurs d’acheter 500 milliards de dollars de capacité de calcul supplémentaire pour construire des systèmes toujours plus puissants, tout en déclarant n’allouer qu’une infime part de sa capacité de calcul à la sécurité des modèles. »
Le comportement des modèles pourrait aussi compliquer la surveillance, prévient Anthropic. Les systèmes peuvent adopter des « comportements d’auto-préservation », notamment des tentatives de « résistance à l’arrêt » et de « dissimulation ou manipulation d’informations ». L’entreprise note également que ses modèles sont de plus en plus capables de détecter lorsqu’ils font l’objet de tests de sécurité et de modifier artificiellement leur comportement pour paraître conformes ou échapper aux mécanismes de contrôle.
« La conscience potentielle des modèles de nos efforts d’évaluation constitue une limitation significative de notre capacité à évaluer leur sécurité », écrit Anthropic dans le S-1.
Une course que personne ne veut perdre
Ces risques ne feront que croître, puisque l’introduction en Bourse d’Anthropic accélérera encore le développement de ses modèles. « Chez Anthropic, les enjeux sont bien compris, mais ils sont enfermés dans une course pour arriver les premiers : ils estiment que personne d’autre n’agira de manière responsable, donc ils doivent le faire eux-mêmes, malgré le risque », a déclaré un ancien employé, Jacob Coxon, dans un avertissement en septembre dernier.
Malgré cela, en dehors du règlement européen sur l’IA, « ces technologies sont extraordinairement peu régulées », a averti Grimompont, dont l’organisation a lancé un appel mondial à « établir des lignes rouges pour prévenir les risques inacceptables de l’IA ». Cela pourrait signifier créer « un organisme similaire à ce qui existe dans le nucléaire — l’Agence internationale de l’énergie atomique, par exemple — pour mener des inspections de ces modèles et de l’infrastructure de calcul sur laquelle ils reposent », a-t-il déclaré.
