重新设计的分词器,包含: 中文字符级建模 英文基于 BPE 的子词建模 可扩展的方言标记(tokens) Dolphin-CN-Dialect-Small 或者可以开源一下 Dolphin-CN-Dialect-Small的英文部分bpe model 吗?
重新设计的分词器,包含:
中文字符级建模
英文基于 BPE 的子词建模
可扩展的方言标记(tokens) Dolphin-CN-Dialect-Small 或者可以开源一下 Dolphin-CN-Dialect-Small的英文部分bpe model 吗?