Skip to content

关于 Table 1 baseline settings 的问题 #41

@Jiayun1106

Description

@Jiayun1106

我目前正在尝试复现论文 Table 1 的 comparison results,想请教几个关于 baseline methods 的关键设置问题:

Image
  1. Table 1 中其他 baseline methods(如 RIND、SFIAN、CTCrackSeg、DTrCNet、Crackmer、SimCrack、CSMamba、PlainMamba、MambaIR)是否也是使用各自 official implementation 的 default settings,只修改输入到 Crack500、DeepCrack、CrackMap 和 TUT datasets?

  2. Table 1 中各 baseline 的 best checkpoint 是如何选择的?
    是根据 validation performance 选择 best checkpoint 后在 test set 上报告结果,还是直接根据 test performance 选择 best checkpoint?

  3. 对于 Table 1 中的 Precision、Recall 和 F1,是使用 fixed threshold、ODS threshold、validation-selected threshold,还是其他 threshold rule 计算的?

求求作者可以回覆 十分, 一百分, 萬分的感謝 !!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions