Skip to content

Weather L1 查询任务中北京当前天气的 UI 与 Judge 期望不一致 #16

Description

@Levishery

在运行 weather.CheckCurrentWeather 时,任务描述为:
北京当前天气怎么样

Agent 在天气 App 初始页面看到的是:
位置:海淀区 中关村街道
当前天气:晴
当前温度:21°
因此 Agent 填写“晴”符合 UI 可见信息。

然而该任务最终被判失败,Judge 期望值为“霾”,实际回答为“晴”。

原因是 Judge 的答案来源为:

Weather(input.apps_init["weather"]).current_weather_text(self.p.city)

city="北京" 时,城市别名映射优先命中 beijing 条目,而原始数据中:

  • weatherLibrary.beijing.bundle.now.text = "霾"
  • weatherLibrary.located.bundle.now.text = "晴"

但 UI 初始页面展示的是 located 条目,而不是 beijing 条目。

相关源码位置:

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions