疑问描述
按照文档使用Custom 数据集进行评分。
- 疑问：这个文件里面只有所有视频的总评分，对每一个视频并无具体的分数，如果修改配置使得输出结果包含单个视频的分数？因为评分过程必定会保存每一个视频的分数，然后再做平均得到最终所有视频的评分score。为了进一步分析，需要定位到是哪些视频的分数出现了较大波动，因此想获取每个视频的评分。
- 文件名：benchmark/outputs/default/20260*/results/vbench_eval/vbench_custom_dynamic_degree.json
{
"accuracy": 68.75,
"details": {
"dynamic_degree": {
"score": 0.6875,
"video_results": [
{
"video_path": "/data1/test/code/0617_npu/27.mp4",
"video_results": true
},
{
"video_path": "/data1/test/code/0617_npu/4.mp4",
"video_results": true
},
{
"video_path": "/data1/test/code/0617_npu/29.mp4",
"video_results": true
}
,...,
{
"video_path": "/data1/test/code/0617_npu/30.mp4",
"video_results": true
}
]
}
}
}我期望的结果
在每一个视频路径的后面增加该视频的评分 score，如下所示：
{
"accuracy": 68.75,
"details": {
"dynamic_degree": {
"score": 0.6875,
"video_results": [
{
"video_path": "/data1/test/code/0617_npu/27.mp4",
"score": 0.34375,
"video_results": true
},
{
"video_path": "/data1/test/code/0617_npu/4.mp4",
"score": 1.0,
"video_results": true
},
{
"video_path": "/data1/test/code/0617_npu/29.mp4",
"video_results": true
}
,...,
{
"video_path": "/data1/test/code/0617_npu/30.mp4",
"score": 0.5,
"video_results": true
}
]
}
}
}
@GaoHuaZhang
前置检查
疑问描述
按照文档使用Custom 数据集进行评分。
{ "accuracy": 68.75, "details": { "dynamic_degree": { "score": 0.6875, "video_results": [ { "video_path": "/data1/test/code/0617_npu/27.mp4", "video_results": true }, { "video_path": "/data1/test/code/0617_npu/4.mp4", "video_results": true }, { "video_path": "/data1/test/code/0617_npu/29.mp4", "video_results": true } ,..., { "video_path": "/data1/test/code/0617_npu/30.mp4", "video_results": true } ] } } }我期望的结果
在每一个视频路径的后面增加该视频的评分 score，如下所示：
{ "accuracy": 68.75, "details": { "dynamic_degree": { "score": 0.6875, "video_results": [ { "video_path": "/data1/test/code/0617_npu/27.mp4", "score": 0.34375, "video_results": true }, { "video_path": "/data1/test/code/0617_npu/4.mp4", "score": 1.0, "video_results": true }, { "video_path": "/data1/test/code/0617_npu/29.mp4", "video_results": true } ,..., { "video_path": "/data1/test/code/0617_npu/30.mp4", "score": 0.5, "video_results": true } ] } } }@GaoHuaZhang
前置检查