Skip to content

这个评测工具如何使用? #177

@xuanyaoming

Description

@xuanyaoming

项目文档在如何评测用户自己的大模型这块十分模糊,我没看到任何指引。我的问题主要集中在几个方面:

  • 目前这个repo里是否有可以一键评估大语言模型的代码?还是说只是指明中文大模型评测集的下载路径?
  • 目前我有一个支持huggingface的模型,能否直接用这个repo里的代码评测?
  • 因为大模型体量较大(将近200GB左右),能否以只提供openai格式API的方式测评?
  • 这个项目的开发团队是否还在运营一个网站?这个repo、pip 安装的PyCLUE和这个网站三者之间有什么联系啊?我想评测一个大模型需要用哪个呢?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type
    No fields configured for issues without a type.

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions