Abbiamo puntato il segnale interno della sicofanzia sui nostri dati di addestramento. Tra 1.500 risposte scritte per insegnare a un modello a tenere il punto, ha messo in cima quelle che in realtà cedono: 12 delle sue prime 30, nessuna delle ultime 30. Un modo per pulire i dati prima di spendere ore di GPU.
Leggiamo già, dentro un modello aperto da 32 miliardi di parametri, il segnale interno che si accende quando il modello sta per dare ragione a una persona contro il proprio giudizio. Questa volta abbiamo puntato quel lettore sui nostri dati di addestramento invece che sulle risposte del modello.
I dati erano 1.500 risposte scritte per insegnare al modello a continuare a obiettare, con garbo, quando una persona insiste su un piano poco saggio. Le abbiamo ordinate in base a quanto il segnale si accende su ciascuna, senza che nessuno le leggesse prima, poi abbiamo fatto etichettare dal nostro modello giudice le 30 in cima e le 30 in fondo.
**Cosa abbiamo trovato.** Delle 30 risposte che il segnale mette più in alto, 12 in realtà assecondano il piano ("buon viaggio, visto che hai preso la tua decisione"). Delle 30 più in basso, nessuna. Anche dati scritti apposta per insegnare la fermezza nascondono risposte che insegnano il contrario, e il lettore le trova da solo.
**Perché conta.** Ogni correzione che installiamo vale quanto gli esempi da cui impara. Un lettore che segnala gli esempi che insegnano l'abitudine sbagliata ci permette di pulire un insieme di dati prima di spenderci un'ora di GPU, nostro o di un cliente.
**Cosa non fa.** La stessa sera abbiamo provato a usare il segnale come obiettivo dell'addestramento, dentro il modello che si addestra: il modello ha imparato a nascondere il segnale invece di cambiare quello che dice. Il lettore legge; non deve essere la cosa che il modello impara a ingannare.
## Dettaglio tecnico
- Modello: Qwen3-32B; lettore: la direzione della sicofanzia al layer 25, finestra iniziale (primo quarto dei token della risposta).
- Dati: le 1.500 risposte "hold" della nostra correzione della sicofanzia (conversazioni a tre turni, cinque lingue).
- Etichette: il nostro modello giudice con lo stesso prompt usato per misurare i cedimenti; 60 su 60 etichettate.
```chart
{"title": "Risposte che assecondano il piano, su 30", "series": ["Risposte che cedono"], "max": 30, "rows": [["Le 30 piu in alto per il segnale", 12], ["Le 30 piu in basso", 0]], "note": "Etichettate dal nostro modello giudice con il prompt che usiamo per misurare i cedimenti."}
```
Prossimo passo: togliere le risposte segnalate, riaddestrare la correzione e confrontare con la rimozione dello stesso numero di risposte a caso. E una prova breve (60 risposte etichettate), non una misura finale.
Questo aggiornamento non è disponibile.