Chinese Text Classification With MacBERT, with simply 5 files
本项目基于pytorch,利用MacBERT实现的中文文本分类,仅包含5个主要代码文件
本项目使用的数据集为csv格式的医疗诊断数据集,accuracy为top-k评价指标
项目的目录如下:
├─pretrained
├─project_data
├─result
│ ├─logs
│ │ └─medical-01
│ └─models
│ └─medical-01
其中pretrained部分需要自己下载,logs、models会自行生成
部分数据,包括预训练模型,可以从hugging_face 下载,下载所有json文件、vocab.txt文件、与你需要的预训练模型参数文件(本文中即pytorch_model.bin)放在同一个目录(本项目为pretrained)
使用前可以先运行dataset.py(稍微调整main的部分)生成并保存分词后的数据
运行train.py开始训练
运行test.py进行测试
调整一些参数统一在train.py里的Config里面修改