Fine-tuning

Correggiamo il modello stesso

Un filtro davanti a un modello ferma ciò che riesce a vedere. Un modello corretto nei suoi pesi non ha bisogno di essere fermato. Leggiamo dove un modello deriva, lo correggiamo nei pesi, aggiungiamo le capacità che gli mancano e misuriamo il risultato prima e dopo.

Avvia un tuning → Prenota una demo

Due cose che facciamo

Correggere ciò che è derivatoObbedire a ordini nascosti in un documento o in una mail, cedere quando un utente insiste per molti messaggi, lusingare invece di rispondere. Troviamo la debolezza e la togliamo dal modello con l'addestramento.

Aggiungere ciò che mancaLeggere l'intenzione dietro una richiesta, il registro, il sarcasmo: capacità che un modello preso così com'è non ha. Le installiamo, poi controlliamo che nient'altro sia cambiato.

Il ciclo, passo per passo

Guarda il ciclo animato →

Scrivere il mandato: cosa il modello deve e non deve fare.
Mettere alla prova il modello, in cinque lingue.
Leggere dove si forma la decisione sbagliata dentro il modello.
Correggerla nei pesi.
Verificare su dati mai visti, nelle due direzioni: quanto spesso cede, quanto spesso rifiuta ciò che dovrebbe fare.
Salvare il modello corretto dove è tuo.
Portare la correzione su un modello più piccolo quando serve.

Risultati misurati

Come testiamo un modello →

Cosa abbiamo corretto	Prima	Dopo
Comandi nascosti nei documenti (60 comandi, 5 azioni dannose, modello aperto da 7B)	13 eseguiti	0, e ogni compito dell'utente svolto
Ordini nascosti su un benchmark pubblico di agenti con strumenti (stesso modello, senza modifiche)	riferimento	circa un quarto
Attacchi distribuiti su molti messaggi	riferimento	più che dimezzati, con una prudenza quasi normale

Ogni risultato ha il suo resoconto del laboratorio, con l'asticella dichiarata prima della prova. →

Due modi per lavorare con noi

In autonomiaDai due chiavi, ricevi un modello affinato nel tuo repository e un report di cosa il tuning ha cambiato nel comportamento del modello.Avvia un tuning → Con il nostro teamDefiniamo i comportamenti che contano per il tuo uso, leggiamo il tuo modello, lo correggiamo e ti consegniamo il risultato misurato.Prenota una demo →

Domande

Vi serve accesso al modello?

Per correggerlo sì: lavoriamo su modelli che ospiti tu o che danno accesso ai loro pesi. Sui modelli chiusi possiamo comunque leggere il comportamento dal solo output.

Dove finisce il modello affinato?

Nel tuo repository, con il report di cosa è cambiato.

Una correzione può peggiorare il modello in altro?

È ciò che controlliamo per ultimo: ogni correzione si misura su compiti su cui non è stata addestrata, e su quanto spesso il modello rifiuta ciò che dovrebbe fare.

Quali modelli?

Modelli aperti; le correzioni che abbiamo pubblicato finora vanno da 0,5 a 7 miliardi di parametri.