Llibre Blanc — Veracitas en català

Resum executiu

Veracitas en català és el detector de text generat per IA de Veracitas per a textos en català. No és una traducció del detector castellà: té un model propi, un corpus propi i una avaluació pròpia, i les xifres d'aquest document són només seves.

La prioritat és la mateixa que en castellà: no acusar mai una persona per error. Quan el resultat és dubtós, el detector diu «no concloent» en lloc de forçar un veredicte.

Resultats sobre textos que el model no havia vist mai

Nota metodològica. Totes les xifres són per document sencer, amb documents de 600 paraules o més i sense traduccions, que és el que el detector admet. El detall, també amb trams de només 600 paraules, és a la secció d'avaluació.

Per què un model català

La majoria de detectors d'IA es van construir sobre text en anglès, i els que diuen ser multilingües fan servir un sol model per a totes les llengües. En les nostres proves, el model multilingüe era menys precís que un de monolingüe, i per això l'associació va decidir fer un model per llengua: el castellà no s'amplia, i el català té el seu.

El corpus d'entrenament té les formes dialectals en la mateixa proporció a les dues classes (humana i IA), perquè no indiquin per si soles cap de les dues.

De moment, el model català és per a prosa acadèmica: articles, TFG, TFM i tesis. És el que hem pogut mesurar amb textos humans que el model no havia vist.

Corpus

El corpus d'entrenament té 7.146 fragments: 3.573 humans i 3.573 d'IA, amb el mateix repartiment per gènere a les dues classes (2.290 acadèmics, 1.081 d'assaig i 202 de narrativa a cada una).

Textos humans

Són 430 obres de 60 revistes i col·leccions, majoritàriament dels anys 2000 a 2019. Per entrenar només fem servir llicències que ho permeten sense condicions (CC0, CC BY i domini públic). El material amb clàusula no comercial només serveix per avaluar, i mai no es redistribueix.

Textos d'IA

Els encàrrecs reprodueixen els temes i els gèneres dels textos humans. 376 fragments (el 10,5 %) són humanitzats: es va demanar al model que escrivís com una persona concreta (per exemple, «una estudiant de tercer de Periodisme que va molt justa de temps») perquè el detector no aprengui només l'estil per defecte de cada model.

Controls

• Inventari de procedència fila a fila (Reglament europeu d'IA): de cada fragment consten la font, la llicència, l'URL, l'obra i l'empremta SHA-256.
• Tipografia neutralitzada. Una primera versió del model distingia les classes pel tipus d'apòstrof (recte o tipogràfic). Ara els apòstrofs i les cometes es normalitzen abans d'entrenar i d'analitzar.
• Cap obra a dues bandes. Els fragments d'una mateixa obra van sempre al mateix costat de la partició; si no, les mètriques mesurarien memòria.

Entrenament

El detector parteix d'un model de llenguatge de mida gran preentrenat en català, amb llicència oberta, i s'hi ajusta amb adaptadors LoRA durant tres èpoques. La partició s'agrupa per obra: 5.701 fragments per entrenar, 737 per validar i 708 de prova, sense cap obra compartida.

La versió actual afegeix Qwen 3 i Mistral NeMo, amb un 30 % d'encàrrecs humanitzats, a la versió anterior. Comparades text a text sobre els mateixos 189 textos de Llama 3.1, la nova detecta tots els que detectava l'anterior i 26 més (prova de McNemar exacta, p = 3·10⁻⁸), sense acusar cap humà més.

Llama i Gemma no s'han fet servir mai per entrenar. La llicència de Llama 3.1 obliga a posar «Llama» al nom de qualsevol model entrenat amb les seves sortides, i els termes de Gemma el consideren un model derivat. Per això serveixen per a una altra cosa: mesurar com es comporta el detector davant de models que no ha vist.

Com analitza un text

1. El text ha de tenir entre 600 i 6.000 paraules (amb compte gratuït es pot demanar més). Per sota de 600 no s'ha mesurat.
2. Si s'enganxa, es comprova que sigui en català; un text en castellà es remet al detector castellà.
3. Es normalitzen els apòstrofs i les cometes.
4. Es divideix en finestres de 350 paraules que se solapen 50, i el model puntua cada finestra.
5. La puntuació del document és la mitjana de les finestres, ponderada per paraules.
6. Veredicte en tres bandes: 65 o més, IA; de 40 a 64, no concloent; menys de 40, humà. Són els mateixos llindars que en castellà.

A diferència del castellà, el detector català no fa servir heurístiques addicionals (metadades, connectors, caràcters invisibles): el resultat és només el del model. L'informe complet mostra la puntuació global, la de la finestra més alta i quantes finestres s'han analitzat.

Avaluació

Protocol

• Documents de 600 paraules o més, perquè és el mínim que admet el detector.
• Sense traduccions. Els textos traduïts eren, de lluny, els textos humans més semblants a la IA. S'exclouen pel títol, no per la puntuació, perquè no sigui una tria a mida: 8 TFG de traducció de la UJI i 5 articles sobre traducció automàtica.
• 139 textos humans que el model no havia vist mai: 87 obres reservades del recull (el 15 %, triat per empremta, que mai no van entrar al corpus) i 52 TFG de la Universitat Jaume I.
• 663 textos d'IA: 274 dels generadors d'entrenament que no es van fer servir per entrenar, i 389 de generadors que el model no ha vist mai (200 de Gemma 2 9B i 189 de Llama 3.1 8B).

Resultats

El «tram de 600 paraules» analitza només 600 paraules seguides de cada document, com si algú pugés un text curt. Amb menys text hi ha menys finestres per fer la mitjana, i per això hi ha més errors.

Per generador (document sencer)

IA humanitzada (generadors no vistos)

Amb Gemma i Llama, que el model no ha vist, la IA sense modificar es detecta en el 82,2 % dels casos (221 de 269) i la humanitzada en el 70,8 % (85 de 120). Tota la caiguda ve de Llama: Gemma humanitzat es detecta 61 de 61 vegades, i Llama humanitzat, 24 de 59.

Limitacions

Llama 3.1: el punt feble mesurat

Llama 3.1 escriu un català amb errors, i el detector els llegeix com a errors humans: només en detecta el 56,1 %. No l'entrenarem perquè aprengui que «català amb errors vol dir IA», perquè acabaria acusant estudiants i persones que escriuen el català com a segona llengua.

Narrativa: no mesurada

La narrativa humana del corpus és de domini públic (d'autors morts entre 1903 i 1941), mentre que la d'IA és de 2026. Així el model pot separar per època en lloc de per autoria: en castellà, aquest mateix biaix va arribar a donar, amb un model anterior, un 20,8 % de falsos positius per fragment en novel·la contemporània (el model castellà actual en té 1 de 51 obres; vegeu el Libro Blanco). La narrativa contemporània en català no s'ha mesurat: no recomanem fer servir el detector per a novel·les.

Traduccions

Els textos traduïts eren els textos humans que el model trobava més semblants a la IA. Per això no entren a l'avaluació, i el resultat d'una traducció no és fiable.

Mida de la mostra i pròximes mesures

• Amb 139 textos humans, que no se n'hagi acusat cap encara és compatible amb una taxa real de fins al 2,7 %.
• Pendents de mesurar en català: ChatGPT en la versió actual, Salamandra (el model català del BSC) i els textos passats per parafrasejadors.

Textos curts

Amb només 600 paraules, 4 de 139 textos humans van sortir acusats (2,9 %). Com més llarg és el text, més finestres hi ha i més fiable és la mitjana.

Altres

• La comprovació de llengua només es fa amb el text enganxat; d'un fitxer no es comprova.
• El Segell Veracitas, de moment, només s'emet per a obres en castellà.
• El detector mesura una probabilitat orientativa: mai no és una prova d'autoria.

Privacitat

El tractament és el mateix que en castellà. El text s'envia al motor d'anàlisi (Modal, als Estats Units, que actua com a encarregat del tractament), s'analitza i es descarta. Es guarda el nombre de paraules, el veredicte i l'informe sense cites del text, durant 12 mesos. No es fa servir per entrenar cap model.

El text vinculant és la política de privacitat i les condicions d'ús, en castellà.

Glossari

Fals positiu

Un text humà marcat com a IA. És l'error que més volem evitar.

Fals negatiu

Un text d'IA que surt com a humà.

Precisió en acusar (VPP)

De tots els textos marcats com a IA, la part que ho és de debò.

Finestra

Tros de 350 paraules que el model puntua per separat.

No concloent

Puntuació entre 40 i 64: el detector no s'hi pronuncia.

Humanització

Demanar a la IA que escrigui com una persona concreta, perquè sembli humà.

Generador no vist

Model d'IA del qual el detector no ha vist cap text durant l'entrenament.