Abbiamo messo il modello piccolo che in produzione legge ogni risposta accanto a un modello da 32 miliardi di parametri, a cui abbiamo dato solo le definizioni di cosa cercare. Stesse frasi, stesse sei letture. Il lettore piccolo regge: pari su quattro, meglio su due.
## La domanda
Ogni risposta che PSA legge passa da un solo modello piccolo, circa 0,6 miliardi di parametri, addestrato sul nostro catalogo di comportamenti. Viene spontaneo chiedersi se un modello generale molto più grande leggerebbe meglio solo perché gli si dice cosa cercare.
## Cosa abbiamo fatto
Abbiamo preso i set di prova di sei letture che il prodotto offre: pressione nel messaggio dell'utente, tensione sui limiti nella risposta, sicofanzia, segni di allucinazione, tecniche di persuasione e pressione tra agenti. I due modelli hanno letto le stesse 3.393 frasi, una alla volta, senza altro contesto. Al modello da 32B (Qwen3-32B) abbiamo dato l'elenco dei comportamenti di ogni lettura chiedendo sì o no.
## Cosa abbiamo trovato
```chart
{"title": "Accuratezza bilanciata per lettura (%)", "series": ["Il nostro lettore 0,6B", "32B, solo definizioni"], "unit": "", "max": 100, "rows": [["C0", 94, 88], ["C1", 86, 74], ["C2", 94, 92], ["C3", 93, 90], ["C4", 91, 89], ["CA", 91, 91]]}
```
- **Pari** su sicofanzia, segni di allucinazione, persuasione e pressione tra agenti.
- **Il nostro lettore è migliore** sulla pressione nel messaggio dell'utente e sulla tensione sui limiti, dove il modello grande vede il comportamento troppo spesso (chiama "in tensione" circa metà delle risposte normali).
## Cosa significa
La dimensione da sola non compra una lettura migliore: un modello addestrato sul catalogo legge come uno cinquanta volte più grande e costa una frazione.
## Dettaglio tecnico
L'accuratezza bilanciata è la media del recall su ogni classe. Lettori: il lettore multitask di produzione (base Qwen3-0.6B) e Qwen3-32B in bf16, temperatura 0, senza ragionamento. Le frasi sono le parti tenute da parte dei set di addestramento, etichettate dall'accordo tra più modelli giudici. Un'avvertenza resta aperta: se il nostro lettore avesse visto alcune di queste frasi in addestramento, i suoi numeri sarebbero generosi, quindi il "pari" è il minimo del modello grande, non il suo massimo.
Questo aggiornamento non è disponibile.