Software 的任务是人工evaluate吗？

[Mercury7353]

请问Symbolic Learning任务里面Software Development的得分是怎么算的啊，是否有评价脚本，还是人工评分的呢

[PoooWeeeHiii]

软件开发任务的评分是自动评估，不是人工打分。具体逻辑在 src/agents/datasets/software_dev.py 的 evaluate 方法：

• 使用 GPT-4 按 “Executability Metric” 自动打 1–4 分：1=完全失败，2=可运行，3=基本满足流程，4=完美符合预期。
• 代码会把模型输出传给 GPT-4，请它提取 …，然后取平均，返回给训练/评估流程。
• 运行时无需人工审核，也没有额外的本地评测脚本。

如需查看实现，可见文件：src/agents/datasets/software_dev.py:82 起的 evaluate 函数。