Una pregunta con respuestas definidas
La integración envía el contexto y las opciones al modelo. Jev devuelve una opción y una medida de confianza.
Trabajo propio / Código abierto
¿Qué necesita una IA para resolver una decisión pequeña?
Un agente de programación decide qué herramienta usar o si debe pedir revisión antes de continuar. Construimos OpenJev para conectar esas decisiones con el modelo Jev de TypeSafe y examinar cómo responde.
La pregunta
El agente tiene que elegir antes de seguir.
Elegir una herramienta, dirigir una solicitud o revisar un comando son tareas con un conjunto definido de respuestas. Queríamos examinar si un modelo de decisiones podía atenderlas y señalar cuándo hacía falta revisión.
Cómo lo construimos.
Un punto de revisión
El código compara la confianza con un umbral configurado. Las respuestas que quedan por debajo se señalan para revisión. Las acciones con consecuencias necesitan reglas de aprobación propias.
Un registro de la evaluación
El conjunto de pruebas cubre selección de herramientas y otras decisiones de agentes. La evaluación registra los errores para revisar dónde falla el enfoque.
La evaluación
Los límites también forman parte del resultado.
La evaluación publicada usa 115 casos creados y etiquetados internamente. Incluye decisiones de clasificación y revisión, entre otras tareas. La puntuación de severidad fue una de las áreas más débiles.
La comparación con un modelo de lenguaje general utiliza tres llamadas consecutivas por caso en su configuración final. Esa elección afecta el tiempo y el costo de la comparación.
El conjunto es pequeño y sus etiquetas provienen de una sola persona. Las cifras describen esa prueba. Una decisión para otro equipo necesita casos representativos de su propio trabajo.
Darwin Tech Lab construyó la integración y el código de evaluación. TypeSafe proporciona el modelo Jev utilizado en estas pruebas. El proyecto y el benchmark son trabajo propio; no representan resultados de clientes.
Material que puede revisar
¿Tiene una decisión parecida en su operación?
Podemos ayudarle a definir una tarea y sus criterios de aceptación, y evaluar si conviene usar IA. El primer paso es conocer su proceso.
Agendar una conversación