Dissecando o hype das decisões tipadas: Jev, Laya ou classificador próprio
As tabelas colocam Jev e Laya como vencedores em recortes diferentes. A escolha depende de onde os rótulos são definidos e de quanto dado rotulado já existe.
Term
Evaluation
Laya tem pesos abertos. A operação fica com você
Laya é um modelo de decisão não autorregressivo com pesos Apache 2.0. Ele troca a conveniência de uma API hospedada pelo controle de rodar, avaliar e especializar o modelo.
Jev garante o formato. Não garante a decisão
Jev troca geração de texto por decisões tipadas com probabilidades. A proposta funciona quando o espaço de resposta é fechado, a pergunta é estreita e o código continua no controle.
O benchmark reinicia o repositório. Seu time não
Agentes de código parecem mais capazes quando cada tarefa começa a partir de um checkout limpo. Novos benchmarks mostram o custo que aparece quando patches, decisões e dívida técnica seguem para o próximo trabalho.
Avaliando Agentes de IA Além do "Vibes Check": Como Medir o que Realmente Importa
Seu agente mandou bem na demo e todo mundo achou incrível. Mas como você sabe que ele realmente funciona? Se a resposta for 'a gente testou e pareceu bom', você está operando no modo vibes. E vibes não escalam.