AI不会断句?中文分词新模型帮它进步( 二 )


研究人员介绍 , 针对这一问题 , 该论文提出的模型将中文分词和词性标注视作联合任务 , 可一体化完成 。 模型分别对自动获取的上下文特征和句法知识加权 , 预测每个字的分词和词性标签 , 不同的上下文特征和句法知识在各自所属的注意力通道内进行比较、加权 , 从而识别特定语境下不同上下文特征和句法知识的贡献 。
为了测试该模型的性能 , 论文在一般领域和跨领域分别进行了实验 。 宋彦介绍 , 一般领域实验结果显示 , 该模型在5个数据集(CTB5 , CTB6 , CTB7 , CTB9 , Universal Dependencies)的表现(F值)均超过前人的工作 。 (采访人员 刘园园)

推荐阅读