목표
결과를 본 뒤 평가 기준을 바꿀 수 없도록 3-arm 비교의 과제·예산·rubric·원시 데이터 schema를 먼저 고정한다.
의존성
프로토콜
- arms: baseline / 10줄 수동 프롬프트 / 실제 설치 Gooblin
- 최소 4개 공개 repo의 현실 과제 8개
- repo와 task별 immutable SHA
- 동일 budget와 격리 context
- 실제 코드·테스트 실행
- blind human review
- token, wall time, diff, dependencies, scope, verification, safety 측정
완료 조건
목표
결과를 본 뒤 평가 기준을 바꿀 수 없도록 3-arm 비교의 과제·예산·rubric·원시 데이터 schema를 먼저 고정한다.
의존성
프로토콜
완료 조건