Skip to content

[Bug]:评估-模型返回不合法1、完整性 completeness 聚合测试 - LLM 返回 null 导致 error , # 执行聚合评估 ,是直接失败的,不是不统计。与准确性逻辑不一致;2、模型返回 其中一个是非法json 的时候,完整性和准确性,都会全部聚合失败 #521

Description

Checklist

  • 我已经搜索过相关问题,但没有得到预期的帮助。
  • 最新版本中该错误尚未修复。
  • 请注意,如果您提交的Bug描述缺少相应的环境信息和最小可复现的demo,我们将很难复现和解决该问题,从而降低收到反馈的可能性,甚至该问题将被关闭。

🐞 问题详细描述

评估-模型返回不合法1、完整性 completeness 聚合测试 - LLM 返回 null 导致 error , # 执行聚合评估 ,是直接失败的,不是不统计。与准确性逻辑不一致;2、模型返回 其中一个是非法json 的时候,完整性和准确性,都会全部聚合失败
image.png
image.png

详细的环境信息描述

20260812 openjiuwen

其他辅助信息

版本信息

20260812 openjiuwen

感谢您的贡献 🎉!

Metadata

Metadata

Assignees

No one assigned

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions