Skip to content

[P2-3] Benchmark V2 harness를 구현하고 smoke run을 통과한다 #64

Description

@jsleemaster

목표

동결된 프로토콜을 세 arm에서 격리·반복 실행하고 원시 결과를 잃지 않는 harness를 만든다.

의존성

완료 조건

  • baseline, 수동 프롬프트, 실제 설치 Gooblin의 context가 서로 격리된다.
  • 동일 repo SHA, task, budget, timeout을 사용한다.
  • run metadata와 stdout/stderr, diff, test result를 raw schema로 저장한다.
  • 실패·timeout도 결과로 남고 재시도는 별도 repetition이다.
  • 한 smoke task가 3 arms × 1회 완주한다.
  • 동일 입력으로 dry-run 계획을 출력할 수 있다.
  • harness 자체 deterministic validation이 CI에서 통과한다.

Raw Result 무결성 보강

  • judge/output JSON에 strict schema 검증을 적용한다.
  • 모든 metric score가 정수 0–5인지 검사한다.
  • aggregate total은 raw metric에서 재계산하며 제공된 total과 불일치하면 invalid로 처리한다.
  • malformed, out-of-range, total-mismatch run은 원본을 보존하되 aggregate에서 제외한다.
  • 각 invalid 상태와 exit/result contract를 deterministic fixture로 회귀 검증한다.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions