X · by vintcessun
Simple Jev, reusing the KV cache
Shared context cached, only the candidate logits read.
恒星sun
@vintcessun
如果分类结果最终要喂给业务系统，生成一段 JSON 往往不是最省事的路径。Simple Jev 把开放模型变成结构化决策接口。 https://github.com/featherless-ai/simple-jev 它复用共享上下文的 KV cache，只读取各问题候选标签的下一 token logits，再由服务端组装 choice、score 和真值判断。省掉逐 token 解码与 JSON 解析，多问题场景更有价值；common 目录还把提示契约和评分逻辑抽成可复用层。适合路由、审核、打分，但准确率与校准仍需按任务验证。
Sep 21, 2026 · 2 likesOpen on X
Simple Jev reuses a shared-context KV cache, reads only the next-token logits of the candidate labels, and assembles the choice, score and truth judgement on the server side.
Open the source
