Le monde littéraire est secoué par une affaire qui relance le débat sur la fiabilité des outils de détection de textes générés par intelligence artificielle. Au cœur de la tempête se trouve Thélyson Orélien, un auteur haïtien de 38 ans, lauréat le 21 septembre du prestigieux Prix du roman Fnac pour son ouvrage C’était ça ou mourir, publié chez Grasset.
Le jour même, un compte anonyme sur X (anciennement Twitter), nommé Balance ton Claude, a affirmé que l’œuvre avait été écrite « presque entièrement » par une IA.
L’accusation et l’outil au centre du litige
Ce compte, qui rassemble environ 5 000 abonnés, affirme avoir soumis plusieurs passages du roman à Pangram, un outil de détection de textes générés par IA, et avoir systématiquement obtenu des résultats indiquant que le texte était généré à 100 % par une IA. La publication est rapidement devenue virale, cumulant plus de 3,2 millions de vues dans l’après-midi du 22 septembre.
La radio publique France Inter a mené son propre test, en soumettant des extraits du début, du milieu et de la fin du livre à Pangram. À chaque fois, l’outil a renvoyé un résultat compris entre 95 % et 100 % en faveur d’une génération par IA.
La controverse a propulsé Pangram, une start-up basée à New York fondée par deux anciens étudiants de Stanford, sous les projecteurs. Lancée en octobre 2023, l’entreprise affirme que son outil est « reconnu comme le détecteur d’IA le plus fiable et le plus précis du marché par des chercheurs indépendants, notamment de l’université du Maryland et de l’université de Chicago ».
L’ascension de Pangram et ses promesses de précision
Restée relativement méconnue pendant plus de deux ans et demi, la société a gagné en visibilité en juillet lorsque Substack l’a intégrée directement à sa plateforme. La start-up a ensuite levé 9 millions de dollars, portant son financement total à 13 millions. Selon The New York Times, sa base d’utilisateurs mensuels est passée à 120 000 en juin, contre seulement 2 700 un an plus tôt.
L’argument de vente principal de Pangram réside dans sa précision. L’entreprise assure que son dernier modèle, Pangram 4, peut déterminer avec une quasi-perfection — 9 999 fois sur 10 000 — si un texte est entièrement généré par IA, assisté par IA ou écrit à 100 % par un humain.
Pour y parvenir, il utilise une méthode d’entraînement singulière : plutôt qu’un modèle génératif, il a ingéré deux millions de documents rédigés par des humains, chacun associé à un « miroir synthétique » créé par une IA selon la même longueur, le même sujet et le même ton. Lorsqu’un texte humain ressemble statistiquement à un texte généré par IA, le détecteur le signale.
Une étude de 2025 de l’université de Chicago a conclu que Pangram maintenait une précision quasi parfaite sur des textes d’environ 500 mots ou plus, surpassant des concurrents comme Originality.ai et GPTZero. Pangram revendique un taux de faux positifs de seulement 0,0041 % (un document sur 24 000) et un taux de détection manquée de 0,34 %.
Des failles connues dans l’algorithme
Malgré ces chiffres impressionnants, la fiabilité de l’outil est contestée. Des utilisateurs ont constaté que Pangram peut signaler systématiquement un contenu comme généré par IA même après une réécriture humaine substantielle. Freddie deBoer, auteur sur Substack, a découvert que l’ajout de quelques phrases écrites par IA à un paragraphe rédigé par un humain suffisait à faire signaler l’ensemble du texte comme généré par IA.
Une limite importante réside dans le fait que les données d’entraînement de Pangram sont constituées de deux millions de documents antérieurs à 2022, majoritairement en anglais. Comme le note un article de blog sur le site de Write Human, un outil de paraphrase par IA, « le style humain évolue de plus en plus vers des formulations automatisées à mesure que les gens lisent davantage, rendant la frontière entre [l’écriture IA et humaine] plus floue chaque année ».
Si Pangram affirme détecter le contenu généré par IA dans une vingtaine de langues, dont le français avec un taux de précision annoncé de 100 %, des questions se posent lorsqu’un style d’auteur sort de la norme. François Negroni, auteur qui coécrit des ouvrages d’aviation avec une IA, a livré sur X une analyse largement partagée. Il explique qu’Orélien, « né en Haïti (et) arrivé au Québec après le séisme de 2010… écrit dans un français que les critiques décrivent unanimement comme « créolisé », mêlé de créole haïtien, d’espagnol, de portugais, imprégné d’oralité, d’aphorismes et de rythmes venus d’ailleurs ». Negroni conclut : « C’est précisément ce type de prose que les détecteurs d’IA traitent le plus mal. » Orélien lui-même a déclaré à Libération : « Je pense que le logiciel est habitué aux traditions littéraires françaises et aux auteurs classiques. »
Un historique de faux positifs
Les doutes sur ces outils ne datent pas d’hier. En avril, l’auteur Bernard Minier a raconté à HuffPost une expérience troublante. « J’ai copié-collé un paragraphe de « Ruptures » (son dernier livre), et il m’a répondu : « 100 % écrit par une IA, ce texte sera refusé par une maison d’édition ou une université. » J’ai réessayé, même chose. Je me suis dit, waouh, j’écris comme une IA. J’ai donc pris un bon vieux « The Black Echo » de Michael Connelly, dont personne ne pourrait supposer qu’il a été écrit par une IA à moins d’avoir une machine à remonter le temps. ChatGPT m’a aussi dit qu’il était « 100 % écrit par IA ». Donc même cette simple chose n’est pas fiable du tout. »
Pangram a connu un embarras similaire plus tôt cet été, en signalant comme générée à 100 % par IA la nouvelle The Serpent in the Grove de Jamir Nazir, lauréate du prix du Commonwealth 2026 de la meilleure nouvelle. L’auteur a finalement été disculpé après avoir présenté au comité d’organisation des brouillons, des plans et des preuves de son processus créatif.
Le compte Balance ton Claude maintient sa position, affirmant avoir testé sur Pangram quatre textes d’Orélien antérieurs à 2022, tous obtenant un score de 0 % d’IA, mais plusieurs textes postérieurs à 2023 (hors son roman) obtenant entre 76 % et 100 % d’IA. La controverse continue de soulever des questions cruciales sur le rôle et la fiabilité de la détection d’IA dans les domaines créatifs.
