Skip to content

docs: KCL Essay 평가 템플릿의 JSON 키 이름 명확화#1

Open
kyoungwoon-rnd wants to merge 1 commit into
mainfrom
update-eval-template
Open

docs: KCL Essay 평가 템플릿의 JSON 키 이름 명확화#1
kyoungwoon-rnd wants to merge 1 commit into
mainfrom
update-eval-template

Conversation

@kyoungwoon-rnd

Copy link
Copy Markdown
Collaborator

변경 사항

KCL Essay 평가 템플릿에서 JSON 키 이름(item_score, reason)을 명시하여 LLM이 응답 형식을 더 명확하게 이해할 수 있도록 개선했습니다.

상세

  • model_answer_template에서 [점수], [근거]점수([item_score])와 그 근거([reason])로 변경
  • instruction에서 이미 정의된 JSON 형식과 일관성 유지

@gemini-code-assist

Copy link
Copy Markdown

Summary of Changes

Hello @kyoungwoon-rnd, I'm Gemini Code Assist1! I'm currently reviewing this pull request and will post my feedback shortly. In the meantime, here's a summary to help you and other reviewers quickly get up to speed!

이 PR은 KCL Essay 평가 템플릿 내 JSON 키 이름을 명확히 합니다. model_answer_template에서 item_scorereason을 명시적으로 정의함으로써, LLM이 필요한 응답 형식을 더 잘 이해하고 기존 JSON 지침과의 일관성을 유지하도록 개선하는 것을 목표로 합니다.

Highlights

  • JSON 키 이름 명확화: KCL Essay 평가 템플릿 내 model_answer_template에서 LLM이 응답 형식을 더 명확하게 이해할 수 있도록 [점수], [근거]점수([item_score])와 그 근거([reason])로 변경했습니다.

🧠 New Feature in Public Preview: You can now enable Memory to help Gemini Code Assist learn from your team's feedback. This makes future code reviews more consistent and personalized to your project's style. Click here to enable Memory in your admin console.

Using Gemini Code Assist

The full guide for Gemini Code Assist can be found on our documentation page, here are some quick tips.

Invoking Gemini

You can request assistance from Gemini at any point by creating a comment using either /gemini <command> or @gemini-code-assist <command>. Below is a summary of the supported commands on the current page.

Feature Command Description
Code Review /gemini review Performs a code review for the current pull request in its current state.
Pull Request Summary /gemini summary Provides a summary of the current pull request in its current state.
Comment @gemini-code-assist Responds in comments when explicitly tagged, both in pull request comments and review comments.
Help /gemini help Displays a list of available commands.

Customization

To customize Gemini Code Assist for GitHub experience, repository maintainers can create a configuration file and/or provide a custom code review style guide (such as PEP-8 for Python) by creating and adding files to a .gemini/ folder in the base of the repository. Detailed instructions can be found here.

Limitations & Feedback

Gemini Code Assist may make mistakes. Please leave feedback on any instances where its feedback is incorrect or counter productive. You can react with 👍 and 👎 on @gemini-code-assist comments. If you're interested in giving your feedback about your experience with Gemini Code Assist for Github and other Google products, sign up here.

You can also get AI-powered code generation, chat, as well as code reviews directly in the IDE at no cost with the Gemini Code Assist IDE Extension.

Footnotes

  1. Review the Privacy Notices, Generative AI Prohibited Use Policy, Terms of Service, and learn how to configure Gemini Code Assist in GitHub here. Gemini can make mistakes, so double check it and use code with caution.

@gemini-code-assist gemini-code-assist Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Code Review

KCL Essay 평가 템플릿의 프롬프트에서 LLM이 JSON 응답 형식을 더 잘 이해할 수 있도록 item_scorereason 키를 명시적으로 추가한 좋은 변경입니다. 이와 더불어, 프롬프트의 가독성과 명확성을 높이기 위해 점수 부여 지침 문장을 약간 수정하는 것을 제안합니다. 이를 통해 LLM이 더 일관되고 정확한 형식의 응답을 생성하도록 유도할 수 있을 것입니다.

다음은 제출된 답안지 입니다.
[제출된 변호사 시험 답안지]: {answer}
이제 다음 [평가척도]를 바탕으로 위 [제출된 변호사 시험 답안지]을 평가하여 각 평가 척도별로 [점수], [근거]를 작성해 주세요. 점수는 평가척도를 만족하면 {score_per_rubric}점, 만족하지 않으면 0점 입니다. {score_per_rubric} 혹은 0 두 수 중 하나로 답변해 주세요.
이제 다음 [평가척도]를 바탕으로 위 [제출된 변호사 시험 답안지]을 평가하여 각 평가 척도별로 점수([item_score])와 그 근거([reason])를 작성해 주세요. 점수는 평가척도를 만족하면 {score_per_rubric}점, 만족하지 않으면 0점 입니다. {score_per_rubric} 혹은 0 두 수 중 하나로 답변해 주세요.

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

medium

기존 변경 사항의 의도는 매우 좋습니다. 추가적으로 프롬프트의 명확성을 더욱 높이기 위해 문장을 조금 더 간결하게 다듬는 것을 제안합니다. 현재 문장은 점수 부여 방식에 대한 설명이 약간 중복되고, 지시가 덜 명확할 수 있습니다. 아래와 같이 수정하면 LLM이 지시사항을 더 명확하게 이해하는 데 도움이 될 것입니다.

      이제 다음 [평가척도]를 바탕으로 위 [제출된 변호사 시험 답안지]을 평가하여 각 평가 척도별로 점수([item_score])와 그 근거([reason])를 작성해 주세요. 점수는 평가척도를 만족하면 {score_per_rubric}점, 만족하지 않으면 0점입니다. 반드시 {score_per_rubric} 또는 0 중 하나의 값으로만 점수를 매겨주세요.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant