「一只只」分词歧义，Jieba 分詞有办法解决吗？

[frankslin]

例如下列三种情況:

• "一只只小猫"
• "一只只箱子"
• "一只只要十元"

谢谢！

[yanyiwu]

我用当前 master、仓库默认词典分别测试了 Mix（Cut(..., true)）和 MP（Cut(..., false)），两种模式结果一致：

一只只小猫   -> 一只/只/小猫
一只只箱子   -> 一只/只/箱子
一只只要十元 -> 一只/只要/十元

如果期望前两句切成类似 一/只只/小猫、一/只只/箱子，同时第三句仍保持 一只/只要/十元，这是同一前缀在不同上下文中的语义歧义。CppJieba 目前主要依赖词典、词频和 HMM，单纯把 只只 加进用户词典可能会改善前两句，但也可能把第三句误切成 一/只只/要/十元，因此无法仅靠一个固定词频稳定解决全部上下文。

固定业务场景下可以考虑：

1. 用用户词典加入更完整的领域短语并设置词频；
2. 在分词后增加规则，例如根据 只只 后面是否接名词做二次合并；
3. 对需要通用上下文消歧的场景，在 CppJieba 前后接入上下文模型。

麻烦补充一下这三句各自期望的准确切分结果，以及使用的 CppJieba 版本、Cut 模式和词典配置。拿到期望输出后，可以再判断是否适合补充词典、规则或回归测试。