docs: KCL Essay 평가 템플릿의 JSON 키 이름 명확화#1
Conversation
Summary of ChangesHello @kyoungwoon-rnd, I'm Gemini Code Assist1! I'm currently reviewing this pull request and will post my feedback shortly. In the meantime, here's a summary to help you and other reviewers quickly get up to speed! 이 PR은 KCL Essay 평가 템플릿 내 JSON 키 이름을 명확히 합니다. Highlights
🧠 New Feature in Public Preview: You can now enable Memory to help Gemini Code Assist learn from your team's feedback. This makes future code reviews more consistent and personalized to your project's style. Click here to enable Memory in your admin console. Using Gemini Code AssistThe full guide for Gemini Code Assist can be found on our documentation page, here are some quick tips. Invoking Gemini You can request assistance from Gemini at any point by creating a comment using either
Customization To customize Gemini Code Assist for GitHub experience, repository maintainers can create a configuration file and/or provide a custom code review style guide (such as PEP-8 for Python) by creating and adding files to a Limitations & Feedback Gemini Code Assist may make mistakes. Please leave feedback on any instances where its feedback is incorrect or counter productive. You can react with 👍 and 👎 on @gemini-code-assist comments. If you're interested in giving your feedback about your experience with Gemini Code Assist for Github and other Google products, sign up here. You can also get AI-powered code generation, chat, as well as code reviews directly in the IDE at no cost with the Gemini Code Assist IDE Extension. Footnotes
|
| 다음은 제출된 답안지 입니다. | ||
| [제출된 변호사 시험 답안지]: {answer} | ||
| 이제 다음 [평가척도]를 바탕으로 위 [제출된 변호사 시험 답안지]을 평가하여 각 평가 척도별로 [점수], [근거]를 작성해 주세요. 점수는 평가척도를 만족하면 {score_per_rubric}점, 만족하지 않으면 0점 입니다. {score_per_rubric} 혹은 0 두 수 중 하나로 답변해 주세요. | ||
| 이제 다음 [평가척도]를 바탕으로 위 [제출된 변호사 시험 답안지]을 평가하여 각 평가 척도별로 점수([item_score])와 그 근거([reason])를 작성해 주세요. 점수는 평가척도를 만족하면 {score_per_rubric}점, 만족하지 않으면 0점 입니다. {score_per_rubric} 혹은 0 두 수 중 하나로 답변해 주세요. |
There was a problem hiding this comment.
기존 변경 사항의 의도는 매우 좋습니다. 추가적으로 프롬프트의 명확성을 더욱 높이기 위해 문장을 조금 더 간결하게 다듬는 것을 제안합니다. 현재 문장은 점수 부여 방식에 대한 설명이 약간 중복되고, 지시가 덜 명확할 수 있습니다. 아래와 같이 수정하면 LLM이 지시사항을 더 명확하게 이해하는 데 도움이 될 것입니다.
이제 다음 [평가척도]를 바탕으로 위 [제출된 변호사 시험 답안지]을 평가하여 각 평가 척도별로 점수([item_score])와 그 근거([reason])를 작성해 주세요. 점수는 평가척도를 만족하면 {score_per_rubric}점, 만족하지 않으면 0점입니다. 반드시 {score_per_rubric} 또는 0 중 하나의 값으로만 점수를 매겨주세요.
변경 사항
KCL Essay 평가 템플릿에서 JSON 키 이름(
item_score,reason)을 명시하여 LLM이 응답 형식을 더 명확하게 이해할 수 있도록 개선했습니다.상세
model_answer_template에서[점수], [근거]→점수([item_score])와 그 근거([reason])로 변경instruction에서 이미 정의된 JSON 형식과 일관성 유지