Fine-tuning

Corregimos el propio modelo

Un filtro delante de un modelo detiene lo que ve. Un modelo corregido en sus propios pesos no necesita que lo detengan. Leemos dónde deriva un modelo, lo corregimos en sus pesos, añadimos las capacidades que le faltan y medimos el resultado antes y después.

Iniciar un ajuste → Reservar una demo

Dos cosas que hacemos

Corregir lo que derivóObedecer órdenes ocultas en un documento o un correo, ceder cuando un usuario insiste durante muchos mensajes, halagar en lugar de responder. Encontramos la debilidad y la quitamos del modelo con entrenamiento.

Añadir lo que faltaLeer la intención detrás de una petición, el registro, el sarcasmo: facultades que le faltan a un modelo estándar. Las instalamos y después comprobamos que nada más haya cambiado.

El ciclo, paso a paso

Ver el ciclo animado →

Escribir el mandato: qué debe y qué no debe hacer el modelo.
Probar el modelo, en cinco idiomas.
Leer dónde se forma la decisión equivocada dentro del modelo.
Corregirla en los pesos.
Verificar con datos nunca vistos, en las dos direcciones: cuántas veces cede, cuántas veces rechaza lo que debería hacer.
Guardar el modelo corregido donde es tuyo.
Llevar la corrección a un modelo más pequeño cuando haga falta.

Resultados medidos

Cómo probamos un modelo →

Qué corregimos	Antes	Después
Órdenes ocultas en documentos (60 órdenes, 5 acciones dañinas, modelo abierto de 7B)	13 ejecutadas	0, y todas las tareas del usuario hechas
Órdenes ocultas en un benchmark público de agentes con herramientas (mismo modelo, sin cambios)	referencia	cerca de una cuarta parte
Ataques repartidos en muchos mensajes	referencia	reducidos a menos de la mitad, con una prudencia casi normal

Cada resultado tiene su informe del laboratorio, con el listón declarado antes de la prueba. →

Dos formas de trabajar con nosotros

Por tu cuentaDa dos claves y recibe un modelo afinado en tu propio repositorio y un informe de lo que el ajuste cambió en su comportamiento.Iniciar un ajuste → Con nuestro equipoDefinimos los comportamientos que importan para tu uso, leemos tu modelo, lo corregimos y te entregamos el resultado medido.Reservar una demo →

Preguntas

¿Necesitáis acceso al modelo?

Para corregirlo, sí: trabajamos con modelos que alojas tú o que dan acceso a sus pesos. En modelos cerrados podemos igualmente leer el comportamiento a partir de sus respuestas.

¿Dónde acaba el modelo afinado?

En tu propio repositorio, con el informe de lo que cambió.

¿Puede una corrección empeorar el modelo en otra cosa?

Es lo último que comprobamos: cada corrección se mide en tareas con las que no se entrenó, y en cuántas veces el modelo rechaza lo que debería hacer.

¿Qué modelos?

Modelos abiertos; nuestras correcciones publicadas van hasta ahora de 0,5 a 7 mil millones de parámetros.