例如， ELMo通过整合更多的上下文， 以句子的规模来看待语言， 而不是词汇， 从而改进了单词的嵌入 。 这种额外的上下文使模型能够很好地解析“May”作为“五月”和动词之间的区别， 也意味着它学习了语法 。 ELMo通过理解单词的子单元， 如前缀和后缀， 来获得额外的提升 。 像彼得斯的团队所做的那样， 为神经网络提供十亿个单词， 而这种方法是非常有效的 。
目前还不清楚的是， 在分析所有这些词的过程中， 这个模型到底学到了什么 。 由于深度神经网络的工作方式不透明， 所以要回答这个问题十分棘手 。 研究人员仍然对图像识别系统工作如此出色的原因有一个模糊的理解 。 在10月份的一次会议上， 彼得斯采用了一种经验主义的方法， 在不同的软件设计和不同的语言任务中试验了ELMo 。 彼得斯说：“我们发现这些模型学习了语言的基本属性 。 ”但他警告说， 其他研究人员将需要测试ELMo， 以确定该模型在不同任务中的稳健程度， 以及它可能包含的隐藏意外情况 。
【AI可以识别图像 但它能理解标题吗？】一种风险是：用于训练它们的数据出现了编码偏差， 因而医生被贴上男性的标签， 而护士则是女性， 就像之前的文字嵌入一样 。 克莱因说， 虽然通过点击ELMo和其他模型产生的最初结果令人兴奋， 但目前还不清楚这些结果可以被推进到什么程度， 也许是通过使用更多的数据来训练模型， 或者增加一些限制， 迫使神经网络更有效地学习 。 从长远来看， 的要让人工智能像我们这样流畅地阅读和交谈， 可能需要一种全新的方法 。
推荐阅读
- 两个月的小狗可以洗澡吗
- 小奶猫可以吃火腿肠吗
- 刺猬可以洗澡么
- 仓鼠可以吃桃子吗
- 慢跑完多长时间可以吃饭 跑步后多久可以吃饭
- 银行卡掉了当天可以补办吗 补办银行卡要多久
- 现在装修一般几个月就能住了 房子装修好后多久可以入住
- 图像低通滤波作用 图像滤波的作用研究的意义是什么
- 狗可以喝酒吗
- 怎么训练狗叫