对于子集的疑问

[yayahgh]

你好，我最近在测试模型的性能，但是我看到论文中的Effectiveness of Modeling of Implicit Aspects/Opinions部分，将数据集分成了4个子集，但是我对此有点疑问。例如对于一条样本有（IA，EO）和（EA，EO）两种标签，那么这条样本是属于（IA，EO）子集还是（EA，EO）？还是同属于两个？还是说根据标签划分成不同的子集？可否给出代码实现？谢谢

[yayahgh]

期望能尽快收到您的回复。

[blhoy]

有两种划分方式：1. 标签级的测试集划分；2. 句子级的测试集划分。如对于一条样本有（IA，EO）和（EA，EO）两种标签，第一种会在评估的时候分别将两个标签的预测结果加到不同子集的tp,fp,fn；第二种会使测试集有小部分重合，只是setting更符合实际。论文中使用的是第二种。

[120hn]

您好！请问是怎么划分子集的？我没搞懂您说的意思。按句子级的测试集划分，是如果对于一条样本有（IA，EO）和（EA，EO）两种标签，这个句子同时在这两个子集里吗？

[120hn]

可以尽快回复一下吗？麻烦您了！

[blhoy]

您好！请问是怎么划分子集的？我没搞懂您说的意思。按句子级的测试集划分，是如果对于一条样本有（IA，EO）和（EA，EO）两种标签，这个句子同时在这两个子集里吗？

是这个意思。

[120hn]

那这个（IA，EO）子集里这个句子也只能有（IA，EO）这一种标签标签对吧？

[blhoy]

那这个（IA，EO）子集里这个句子也只能有（IA，EO）这一种标签标签对吧？

不是的，句子里的四元组是肯定不能动的，测试集则可以有不同的划分方式。

[120hn]

那这四个测试子集是互相独立的吗？您的意思是对于划分的（IA，EO）这个测试子集，假如一个样本有（IA，EO）和（EA，EO）这两个标签，这个样本以及它的（IA，EO）和（EA，EO）这两个标签都在（IA，EO）这个测试子集吗？

[120hn]

实在麻烦您了。我担心我划分错了。 我是按您的意思把测试集划分了1）EA&EO；2） IA&EO；3） EA&IO； 4) IA & IO 这么四个独立的子集。加入对于这个样本和标签the ports were another thing that i was really excited to see fully included on a laptop in this price range . 1,2 PORTS#GENERAL 2 9,10 16,17 LAPTOP#PRICE 2 -1,-1 我在EA&IO这个子集里是the ports were another thing that i was really excited to see fully included on a laptop in this price range . 16,17 LAPTOP#PRICE 2 -1,-1 的，在EA&EO这个子集里是the ports were another thing that i was really excited to see fully included on a laptop in this price range . 1,2 PORTS#GENERAL 2 9,10 的。这样划分正确吗

[120hn]

您好！，看到了可以回复一下，这种划分方式对不对？

[blhoy]

实在麻烦您了。我担心我划分错了。 我是按您的意思把测试集划分了1）EA&EO；2） IA&EO；3） EA&IO； 4) IA & IO 这么四个独立的子集。加入对于这个样本和标签the ports were another thing that i was really excited to see fully included on a laptop in this price range . 1,2 PORTS#GENERAL 2 9,10 16,17 LAPTOP#PRICE 2 -1,-1 我在EA&IO这个子集里是the ports were another thing that i was really excited to see fully included on a laptop in this price range . 16,17 LAPTOP#PRICE 2 -1,-1 的，在EA&EO这个子集里是the ports were another thing that i was really excited to see fully included on a laptop in this price range . 1,2 PORTS#GENERAL 2 9,10 的。这样划分正确吗

这样的划分不是错的，这是在四元组粒度上划分测试集，只是和论文中的划分方式不一样。我说的重合的意思是，在计算p,r,f时，你预测出的四元组对于同一个样例，会在多个类型的测试集中重复累加到tp,fp或fn上。

[120hn]

好的谢谢您