在运行 weather.CheckCurrentWeather 时,任务描述为:
北京当前天气怎么样
Agent 在天气 App 初始页面看到的是:
位置:海淀区 中关村街道
当前天气:晴
当前温度:21°
因此 Agent 填写“晴”符合 UI 可见信息。
然而该任务最终被判失败,Judge 期望值为“霾”,实际回答为“晴”。
原因是 Judge 的答案来源为:
Weather(input.apps_init["weather"]).current_weather_text(self.p.city)
当 city="北京" 时,城市别名映射优先命中 beijing 条目,而原始数据中:
weatherLibrary.beijing.bundle.now.text = "霾"
weatherLibrary.located.bundle.now.text = "晴"
但 UI 初始页面展示的是 located 条目,而不是 beijing 条目。
相关源码位置:
在运行 weather.CheckCurrentWeather 时,任务描述为:
北京当前天气怎么样
Agent 在天气 App 初始页面看到的是:
位置:海淀区 中关村街道
当前天气:晴
当前温度:21°
因此 Agent 填写“晴”符合 UI 可见信息。
然而该任务最终被判失败,Judge 期望值为“霾”,实际回答为“晴”。
原因是 Judge 的答案来源为:
当
city="北京"时,城市别名映射优先命中beijing条目,而原始数据中:weatherLibrary.beijing.bundle.now.text = "霾"weatherLibrary.located.bundle.now.text = "晴"但 UI 初始页面展示的是
located条目,而不是beijing条目。相关源码位置:
apps/Weather/data/weatherBundles.json#L2-L12beijing条目,locationName = "东城区 东华门街道",now.text = "霾"apps/Weather/data/weatherBundles.json#L9740-L9750located条目,locationName = "海淀区 中关村街道",now.text = "晴"bench_env/task/weather/tasks.py#L73-L88CheckCurrentWeather的 judge 期望来源:Weather(input.apps_init["weather"]).current_weather_text(self.p.city)bench_env/task/weather/app.py#L110-L148城市匹配逻辑:
city="北京"会优先匹配到beijing条目,而不是当前 UI 展示的located条目。