当前位置:首页 >> 互联网 >>

CNN在NLP领域中的应用


光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com CNN 在 NLP 领域中的应用_光环大数据培训

现在就让我们一起来看看 CNN 具体在 NLP 中的应用吧。CNN 很适用于与文本 的分类任务,如情感分析,垃圾邮件检测,或是主题分类。 1.经典做法 【1】在各种分类数据集上对 CNN 架构进行评估,主要包括情感分析和主题 分类任务。CNN 的架构在数据集上获得了很好的性能,并且在一些方面达到了新 的水平。令人惊讶的是,本文使用的网络非常简单,这就是它的强大之处。输入 层是由连接的 word2vec 单词嵌入组成的句子。接下来是一个带有多个过滤器的 卷积层,然后是一个最大池化层,最后是一个 softmax 分类器。本文还对两种不 同的信道进行了静态和动态词嵌入的实验, 其中一个信道在训练过程中进行了调 整,另一个则没有。一个类似的,但稍微复杂一点的架构【2】 。 【6】添加一个额 外的层,对这个网络架构执行“语义聚类” 。

2.输入向量的不同表达方式 【4】从头开始训练 CNN,不需要像 word2vec 或 GloVe 这样的预先训练的单 词向量。它直接将卷积应用于一个独热向量(one-hot) 。此外,作者还提出了一 种空间高效的用于输入数据的单词表示法, 从而减少了网络需要学习的参数的数 量。在【5】中,作者将该模型扩展为一个额外的无监督的“区域嵌入” ,即使用 CNN 预测文本区域的上下文来学习。这些论文的方法似乎对长篇文本(如电影评 论)很有效,但它们在短文本上的表现并不清楚。从直观上看,使用预先训练的 单词嵌入短文本会比使用长文本更有效。

* 3.CNN 在 NLP 中的综合实验* 构建一个 CNN 架构意味着有许多超参数要选择,其中一些我在上面介绍过: 输入代表(word2vec, GloVe, one -hot), 卷积过滤器的数量和大小, 池策略(max, average)和激活函数(ReLU, tanh)。 【7】对 CNN 体系结构中不同超参数的影响进

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com 行实证评价,考察其对性能的影响和对多个运行结果方差的影响。如果您想要实 现您自己的 CNN 的文本分类,使用本文的结果作为起点将是一个好主意。一些突 出的结果是,max-pooling 总是优于 average-pooling,理想的筛选器大小是重 要的,但是依赖具体任务,并且正则化在 NLP 任务中似乎并没有很大的不同。

4.探索词的位置影响 【8】探讨了 CNNs 的关系提取和关系分类任务。除了“向量”这个词外,作 者还将词语的相对位置作为对卷积层的输入。该模型假设给定实体的位置,并且 每个示例输入包含一个关系。 【9】和【10】探索了相似的模型。

5.学习有意义的表达 NLP 的另一个有趣的用例可以在【11】和【12】中找到,来自微软的研究。 这些论文描述了如何学习语义上有意义的句子表达, 这些句子可以用于信息检索。 论文中给出的例子包括根据用户当前阅读的内容向用户推荐有趣的文档。 语句表 示是基于搜索引擎日志数据进行训练的。

6.学习合适的词嵌入方法 大多数 CNN 体系结构学习嵌入(低维的表示),以一种或另一种方式,作为他 们训练过程的一部分。 并不是所有的论文都集中在这方面的训练或调查学习的嵌 入有多大意义。 【13】提供 CNN 架构来预测 Facebook 帖子的标签,同时为单词和 句子生成有意义的嵌入。然后,这些学习的嵌入被成功地应用到另一项任务—— 向用户推荐可能有趣的文档,并基于用户点击数据进行培训。 字符级别上的 CNN

到目前为止,所有的模型都是基于单词的。但也有研究将 CNNs 直接应用于 字符。 【14】学习字符级的嵌入,将其与预先训练的词嵌入连接起来,并使用 CNN 作为词性标记的一部分。 【15】 【16】探讨了使用 CNNs 直接从字符学习,而不需 要任何预先训练的嵌入。值得注意的是,作者使用了一个相对较深的网络,总共

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com 有 9 层,并将其应用于情绪分析和文本分类任务。结果表明,直接从字符级输入 学习在大型数据集(数以百万计的例子)中非常有效,但是在较小的数据集上(成 千上万的例子)表现得比较简单。 【17】 探讨了字符级的卷积在语言建模中的应用, 将字符级的 CNN 的输出作为每个时间步中 LSTM 的输入。同样的模型适用于各种 语言。

令人惊讶的是, 以上所有的论文都是在过去 1-2 年发表的。 显然, CNN 在 NLP 上已经有了出色的效果,且其发展也在加速。

为什么大家选择光环大数据!

大数据培训、 人工智能培训、 Python 培训、 大数据培训机构、 大数据培训班、 数据分析培训、大数据可视化培训,就选光环大数据!光环大数据,聘请大数据 领域具有多年经验的讲师,提高教学的整体质量与教学水准。讲师团及时掌握时 代的技术,将时新的技能融入教学中,让学生所学知识顺应时代所需。通过深入 浅出、通俗易懂的教学方式,指导学生较快的掌握技能知识,帮助莘莘学子实现 就业梦想。

光环大数据启动了推进人工智能人才发展的“AI 智客计划” 。光环大数据专注国内 大数据和人工智能培训,将在人工智能和大数据领域深度合作。未来三年,光环大数据 将联合国内百所大学,通过“AI 智客计划” ,共同推动人工智能产业人才生态建设,培 养和认证 5-10 万名 AI 大数据领域的人才。

参加“AI 智客计划” ,享 2000 元助学金!

【报名方式、详情咨询】 光环大数据网站报名:http://hadoop.aura-el.com

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com 手机报名链接:http:// hadoop.aura-el.com /mobile/

光环大数据 http://hadoop.aura-el.com


赞助商链接
相关文章:
更多相关标签: