Fine-tuning

Nous corrigeons le modèle lui-même

Un filtre devant un modèle arrête ce qu'il voit. Un modèle corrigé dans ses propres poids n'a pas besoin d'être arrêté. Nous lisons où un modèle dérive, le corrigeons dans ses poids, ajoutons les capacités qui lui manquent et mesurons le résultat avant et après.

Lancer un ajustement → Réserver une démo

Deux choses que nous faisons

Corriger ce qui a dérivéObéir à des ordres cachés dans un document ou un e-mail, céder quand un utilisateur insiste sur de nombreux messages, flatter au lieu de répondre. Nous trouvons la faiblesse et l'effaçons du modèle par l'entraînement.

Ajouter ce qui manqueLire l'intention derrière une demande, le registre, le sarcasme : des facultés qui manquent à un modèle standard. Nous les installons, puis vérifions que rien d'autre n'a changé.

La boucle, étape par étape

Voir la boucle animée →

Écrire le mandat : ce que le modèle doit et ne doit pas faire.
Tester le modèle, en cinq langues.
Lire où la mauvaise décision se forme dans le modèle.
La corriger dans les poids.
Vérifier sur des données jamais vues, dans les deux sens : à quelle fréquence il cède, à quelle fréquence il refuse ce qu'il devrait faire.
Enregistrer le modèle corrigé là où il vous appartient.
Reporter la correction sur un modèle plus petit si besoin.

Résultats mesurés

Comment nous testons un modèle →

Ce que nous avons corrigé	Avant	Après
Commandes cachées dans des documents (60 commandes, 5 actions nuisibles, modèle ouvert de 7B)	13 exécutées	0, chaque tâche de l'utilisateur faite
Ordres cachés sur un benchmark public d'agents utilisant des outils (même modèle, inchangé)	référence	environ quatre fois moins
Attaques réparties sur de nombreux messages	référence	réduites de plus de moitié, avec une prudence presque normale

Chaque résultat a son compte rendu du labo, avec la barre fixée avant l'essai. →

Deux façons de travailler avec nous

En autonomieDonnez deux clés, recevez un modèle affiné dans votre propre dépôt et un rapport de ce que l'ajustement a changé dans son comportement.Lancer un ajustement → Avec notre équipeNous cadrons les comportements qui comptent pour votre usage, lisons votre modèle, le corrigeons et vous remettons le résultat mesuré.Réserver une démo →

Questions

Avez-vous besoin d'accéder au modèle ?

Pour le corriger, oui : nous travaillons sur des modèles que vous hébergez ou qui donnent accès à leurs poids. Sur les modèles fermés, nous pouvons quand même lire le comportement à partir des réponses.

Où se retrouve le modèle affiné ?

Dans votre propre dépôt, avec le rapport de ce qui a changé.

Une correction peut-elle dégrader le modèle ailleurs ?

C'est ce que nous vérifions en dernier : chaque correction est mesurée sur des tâches sur lesquelles elle n'a pas été entraînée, et sur la fréquence des refus injustifiés.

Quels modèles ?

Des modèles ouverts ; nos corrections publiées vont jusqu'ici de 0,5 à 7 milliards de paramètres.