03 · OpenRouter
Jev deja a cuatro LLM mirando el cronómetro: 154 milisegundos frente a 860
OpenRouter comparó el clasificador Jev con cuatro modelos de lenguaje en una prueba que asignaba 200 casos sintéticos a 30 categorías y medía la latencia. Las reproducciones de la gráfica sitúan la mediana de Jev en 154 milisegundos y la del siguiente modelo en 860, pero faltan datos auditables.
Por qué importa
La decisión estructurada de Jev puede sustituir a un modelo de lenguaje generalista en clasificaciones cerradas para enrutar o filtrar solicitudes y reducir la espera antes de generar una respuesta. Si Jev mantiene la precisión con conjuntos de categorías y tráfico reales, eso presionaría a los proveedores generalistas a reservar sus modelos para los casos ambiguos o a ofrecer clasificadores rápidos.
Los detalles
- Jev recibe un texto o un estado y una pregunta con opciones predefinidas. Devuelve una etiqueta estructurada que permite enrutar o filtrar solicitudes antes de enviarlas a un modelo generativo.
- Los casos se distribuyeron por igual entre las categorías. Además, el razonamiento estaba desactivado en todos los modelos de lenguaje salvo GLM 5.3 Flash.
- Las demás medianas atribuidas a OpenRouter fueron de 911 milisegundos para DeepSeek V4.1 Flash, 914 para Qwen3.8 Flash y 1.544 para GLM 5.3 Flash.