关于预测准确率

[yun97]

我用您的代码跑了一下数据，eval accuracy 只有0.1,predict 的结果并没有图片中的80%那么高？

[hxs91]

我也是，按照这个思路跑出来感觉不对劲。。

[supergyz]

我用您的代码跑了一下数据，eval accuracy 只有0.1,predict 的结果并没有图片中的80%那么高？

没有shuffle数据的原因 @yun97 @hxs91

[jotline]

然而shuf之后也只有0.58的eval_accuracy.

[supergyz]

@jotline 两个原因。你看下data下的数据，第一行其实是噪音建议删去，稍微修改下_create_examples函数。因为如果先shuffle的话，第一行会被当成训练数据进去，更糟糕的是会多了个label变成11分类。第二个就加大步长，原文中写的是3000多步，也就是100epochs；我跑到1000步最高达到0.71，之后就没试过了。

[jotline]

@supergyz 好的，十分感谢🙏。我再试试看

[jotline]

@supergyz 我跑了30000步，仍然是0.66左右。我估摸着数据有点少，导致测试集准确度太低。我换了一个6分类的场景，可以达到0.84的acc

[h123c]

我开始也是0.1,看到上面的讨论才反应过来,只是对数据去掉第一行并shuffle后变为79%,可能会有浮动.

[yun97]

@supergyz 非常感谢！

[jotline]

@supergyz 可以直接跑一下官方的run_classifier.py，多加一些trainset的规模80%不难，我用我自己的数据集可以跑到挺高。

[sportzhang]

@jotline 你用的英文还是中文？

[h123c]

@h123c 你好，run_classifier的代码能发给我下吗。。刚才试了下还是0.66。。有点绝望。。

就是这里的原码,没有动,但是数据集处理了一下

[sportzhang]

shuffle之后，跑到0.81是没什么问题的。

[jotline]

@jotline 你用的英文还是中文？

我的数据集还比较复杂，有英文有中文，还有其他语言。

[jotline]

@supergyz 我感觉是数据不太够？我跑的自己的多语种数据集，代码没有变，可以跑很高。后来没用tf版的bert了，pytorch版非常好用，速度也快。