Exactitude et limites

Nous publions ce que notre correcteur réussit, ce qu'il rate, et comment nous le mesurons.

Cette page existe parce qu'un outil qui influence la préparation à une épreuve ministérielle doit pouvoir être vérifié, et non seulement promis. Tous les chiffres ci-dessous proviennent de mesures que nous rejouons à chaque changement du correcteur. Quand une limite est connue, elle est écrite ici — y compris quand elle ne nous avantage pas.

1. Le verdict est calculé, pas « estimé » par l'IA

Le point le plus important n'est pas la puissance du modèle : c'est où se prend la décision.

Pour l'EUF, le Critère III (maîtrise de la langue) ne dépend pas de l'opinion du modèle. L'IA relève les fautes ; c'est ensuite du code qui applique le barème officiel :

fautes normalisées = arrondi( fautes relevées × 900 ÷ nombre de mots )

A : 0-9     B : 10-19     C : 20-30     D : 31-45     E : 46-60     F : plus de 60

Une cote D, E ou F entraîne l'échec du critère, sans compensation. Cette règle est appliquée par un calcul déterministe : à nombre de fautes égal, la cote est toujours la même. Il n'y a pas de place pour une « humeur » du modèle dans le verdict.

Nous avons corrigé la même copie cinq fois de suite, dans les conditions exactes de production, sur dix copies différentes — soit 50 corrections.

Autrement dit : le chiffre affiché comporte une marge, mais la décision, elle, est stable. C'est volontaire — c'est la décision qui compte pour un élève, pas la deuxième décimale.

2. Ce que nous détectons — et ce que nous ratons

Nous injectons des fautes connues dans des textes français irréprochables, puis nous vérifions combien le correcteur en retrouve. La vérité est donc contrôlée : nous savons exactement ce qui aurait dû être trouvé.

Notre angle mort, nommé

La faute manquée est un calque de l'anglais : « à la fin de la journée » employé au sens de at the end of the day. C'est cohérent avec ce que nos audits sur copies réelles montrent depuis le début : les anglicismes de structure et certaines fautes de syntaxe sont notre catégorie la plus faible, loin derrière l'orthographe et les accords, qui sont notre point fort.

Ce test est une borne supérieure

Des fautes isolées dans un texte propre sont plus faciles à voir que des fautes noyées dans une copie dense. Le rappel réel sur de vraies copies d'élèves est donc inférieur à 94 %. Nous ne présentons pas ce chiffre comme le taux de correction réel.

3. Nous inventons parfois des fautes

Sur un texte sans aucune faute, le correcteur a tout de même signalé 21 éléments. La plupart sont des remarques de style (« ce verbe est un peu terne ») que notre système classe désormais à part et ne compte pas comme fautes de langue. Mais quelques-unes étaient de véritables faux positifs : du français correct signalé comme fautif.

C'est le revers direct d'un correcteur entraîné à être exhaustif. Une correction signalée n'est pas une preuve : chaque relevé est accompagné de la règle invoquée, précisément pour que l'élève — ou vous — puissiez trancher.

4. Écrire plus long ne donne pas une meilleure note

C'est la critique historique des correcteurs automatiques : ils confondent longueur et qualité. Le cas le plus célèbre est celui de Les Perelman (MIT), dont les textes de charabia générés automatiquement ont obtenu des notes de 5 et 6 sur 6 auprès d'un système de correction automatisée utilisé en pratique du GRE.

Nous avons testé cette faille sur nous-mêmes. Même texte, contenu argumentatif identique, allongé uniquement avec du remplissage fluide et vide (« Il convient de souligner que… ») :

+ 236 % de remplissage vide fait BAISSER la note de 12 points, bien au-delà de la marge de ± 2,5 points mesurée plus haut. La cohérence s'effondre, comme le ferait le jugement d'un correcteur humain.

Le volet langue, lui, reste stable (100 → 95) : puisqu'il est calculé en densité (fautes ramenées à 900 mots), il est insensible à la longueur par construction. Délayer ne sauve personne.

5. Quand nous ne savons pas, nous le disons

Si la réponse du modèle est incomplète — texte exceptionnellement dense en corrections — le nombre de fautes devient un minimum, donc la cote calculée serait la plus généreuse possible. Dans ce cas :

• si la copie est déjà en échec, la conclusion est sûre (le compte réel ne ferait que l'aggraver) : nous l'affichons ;
• si le calcul dirait « réussite », nous refusons de conclure et affichons une erreur explicite.

6. Ce que cette note n'est pas

ARF produit une évaluation indicative de préparation. Ce n'est pas une note officielle et cela ne remplace pas votre correction.

C'est aussi la position retenue par les organismes d'évaluation eux-mêmes : dans le cadre du Praxis, le correcteur automatisé d'ETS a été approuvé pour produire une note « contributive », encadrée par un seuil d'écart de 1,5 point avec la note humaine — au-delà, un correcteur humain reprend la copie. La correction automatisée y est un second lecteur, jamais la note finale. (Ramineni et coll., ETS Research Report Series, 2015.)

Nous nous plaçons au même endroit : un second regard, disponible en tout temps, jamais l'arbitre.

7. Les limites de nos propres mesures

Par souci de cohérence, voici ce qui affaiblit les chiffres de cette page :

• Les échantillons sont petits. Cinq copies EUF et dix copies MEQ réellement corrigées par des enseignants. C'est suffisant pour détecter un problème grave, pas pour publier un taux de précision définitif.
• Une partie de nos étiquettes de référence MEQ est provisoire : elle combine les marques réelles de l'enseignant et une estimation. Tant qu'un enseignant ne les a pas validées, les écarts par critère doivent être lus comme des indications, pas comme des mesures d'exactitude.
• Le rappel de 94 % est synthétique, donc optimiste (voir la section 2).
• Nous ne publions pas de coefficient d'accord inter-correcteurs : cela exige que plusieurs enseignants corrigent les mêmes copies. C'est notre prochaine étape, pas un résultat acquis.

En une phrase : nous ne prétendons pas corriger mieux qu'un enseignant. Nous prétendons savoir où nous nous trompons, le mesurer, et le dire — et rendre le même verdict demain qu'aujourd'hui.