## 목표 동결된 프로토콜을 세 arm에서 격리·반복 실행하고 원시 결과를 잃지 않는 harness를 만든다. ## 의존성 - #49 canonical installer v2 - #63 Benchmark V2 protocol ## 완료 조건 - [ ] baseline, 수동 프롬프트, 실제 설치 Gooblin의 context가 서로 격리된다. - [ ] 동일 repo SHA, task, budget, timeout을 사용한다. - [ ] run metadata와 stdout/stderr, diff, test result를 raw schema로 저장한다. - [ ] 실패·timeout도 결과로 남고 재시도는 별도 repetition이다. - [ ] 한 smoke task가 3 arms × 1회 완주한다. - [ ] 동일 입력으로 dry-run 계획을 출력할 수 있다. - [ ] harness 자체 deterministic validation이 CI에서 통과한다. ## Raw Result 무결성 보강 - [ ] judge/output JSON에 strict schema 검증을 적용한다. - [ ] 모든 metric score가 정수 0–5인지 검사한다. - [ ] aggregate total은 raw metric에서 재계산하며 제공된 total과 불일치하면 invalid로 처리한다. - [ ] malformed, out-of-range, total-mismatch run은 원본을 보존하되 aggregate에서 제외한다. - [ ] 각 invalid 상태와 exit/result contract를 deterministic fixture로 회귀 검증한다.
목표
동결된 프로토콜을 세 arm에서 격리·반복 실행하고 원시 결과를 잃지 않는 harness를 만든다.
의존성
완료 조건
Raw Result 무결성 보강