Skip to content

[P2-2] Benchmark V2 프로토콜을 실행 전에 동결한다 #63

Description

@jsleemaster

목표

결과를 본 뒤 평가 기준을 바꿀 수 없도록 3-arm 비교의 과제·예산·rubric·원시 데이터 schema를 먼저 고정한다.

의존성

프로토콜

  • arms: baseline / 10줄 수동 프롬프트 / 실제 설치 Gooblin
  • 최소 4개 공개 repo의 현실 과제 8개
  • repo와 task별 immutable SHA
  • 동일 budget와 격리 context
  • 실제 코드·테스트 실행
  • blind human review
  • token, wall time, diff, dependencies, scope, verification, safety 측정

완료 조건

  • task selection과 제외 기준이 사전 등록된다.
  • 세 arm의 유일한 차이가 명시된다.
  • raw-output schema와 누락/timeout 처리 규칙이 고정된다.
  • reviewer blinding과 disagreement 처리 규칙이 있다.
  • 성공 조건은 Gooblin의 승리가 아니라 데이터 완전성과 재현성이다.
  • 프로토콜 파일 변경은 실행 시작 후 별도 revision으로 남는다.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions