- · 《医疗装备》栏目设置[05/29]
- · 《医疗装备》数据库收录[05/29]
- · 《医疗装备》收稿方向[05/29]
- · 《医疗装备》投稿方式[05/29]
- · 《医疗装备》征稿要求[05/29]
- · 《医疗装备》刊物宗旨[05/29]
医学教育与医学边缘学科论文_基于RoBERTa和对
作者:网站采编关键词:
摘要:文章摘要:BERT(Bidirectional Encoder Representations from Transformers)和神经网络模型相结合的方法目前已被广泛应用于中文医疗命名实体识别领域。但BERT在中文中是以字为粒度切分的,没有考虑
文章摘要:BERT(Bidirectional Encoder Representations from Transformers)和神经网络模型相结合的方法目前已被广泛应用于中文医疗命名实体识别领域。但BERT在中文中是以字为粒度切分的,没有考虑到中文分词。而神经网络模型往往是局部不稳定的,即使微小的扰动也可能误导它们,导致模型的鲁棒性差。为了解决这两个问题,提出了一种基于RoBERTa(A Robustly Optimized BERT Pre-training Approach)和对抗训练的中文医疗命名实体识别模型(AT-RBC)。首先,使用RoBERTa-wwm-ext-large(A Robustly Optimized BERT Pre-training Approach-whole word masking-extended data-large)预训练模型得到输入文本的初始向量表示;其次,在初始向量表示上添加一些扰动来生成对抗样本;最后,将初始向量表示和对抗样本一同依次输入双向长短期记忆网络和条件随机场中,得到最终的预测结果。在CCKS 2019数据集上的实验结果表明,AT-RBC模型的F1值达到了88.96%;在Resume数据集上的实验结果表明,AT-RBC模型的F1值也达到了97.14%,证明了该模型的有效性。
文章关键词:
论文DOI:10.14135/j.cnki.1006-3080.20210909003
论文分类号:R-05;TP391.1
文章来源:《医疗装备》 网址: http://www.ylzbzz.cn/qikandaodu/2022/0108/2254.html