为什么要用深度学习deep learning做自然语言处理NLP?

神经网络应用于图像是因为图像是连续的,只能用神经网络做,而语言是离散的,rule-based挺合适  

jennie提问于 2018-05-28 09:21
1 个回答
  • 社区编辑2018-05-28 09:26



    这些指标或许不足以说明深度学习在 NLP 任务上的绝对优势,但相对传统方法更佳的性能,已经足以使研究者潜心研究。在找到更好的方法之前,我们对 DL for NLP 寄予厚望。


    从根本上说,深度学习在 NLP 问题上的优势有三点,这是传统机器学习方法所不具备的。


    表达能力:利用深度学习,文本、图像等不同格式都可以表示为实值向量,这使得我们可以跨多种模式执行信息处理。例如,在图像检索中将查询(文本)与图像进行匹配并找到最相关图像变得可行,因为它们都可以表示为向量。

    可训练性:深度学习让我们可以为应用执行端到端的训练,从而快速、高质量地解决问题,因为深度神经网络使得数据中的信息能在模型中被有效“编码”。例如,在神经机器翻译(NMT)中,模型完全由平行语料库(parallel corpora)自动构建,通常不需要人为干预。与统计机器翻译的传统方法相比,这显然是一个优势,特征工程对于后者是至关重要的。

    可推广性:机器对未经训练的数据也可以执行预测。


    可以更为全面地理解深度学习用于 NLP 的优势与挑战。

    优势:

    • 擅长模式识别问题
    • 数据驱动,且在很多问题上性能都很高
    • 端到端训练,构建系统时很少需要或不需要领域知识(当然这一点也有争议)
    • 表示学习,使得跨模式处理可行
    • 基于梯度的学习,学习算法很简单
    • 主要是监督学习方法


    挑战:

    • 不擅长推理和决策
    • 不能直接处理符号
    • 数据饥渴,在数据量较小时不适用
    • 难以处理长尾现象
    • 模型通常是一个黑盒子,可解释性差
    • 计算成本很高
    • 无监督学习方法有待突破
    • 仍然缺乏理论基础


    Deep Learning for Natural Language Processing (NLP): Advancements & Trends | Tryolabs Blog这篇底的文章介绍了 2017 年神经网络模型在命名实体识别、词性标注、情感分析、机器翻译等领域的表现,是比较有意思的。这里是译文:一文概述2017年深度学习NLP重大进展与趋势


    [1] Blunsom P, Grefenstette E, Kalchbrenner N . A convolutional neural network for modelling sentences. In: 52nd Annual Meeting of the Association for Computational Linguistics. Baltimore, USA, 2014, 655–65.

    [2]Hu B, Lu Z, Li H. Convolutional Neural Network Architectures for Matching Natural Language Sentences. In: Advances in Neural Information Processing Systems 27
    . Montreal, Canada, 2014, 2042–50.

    [6] Wu Y, Schuster M, Chen Z. CoRR , vol. abs/1609.08144, 2016.

    [8] Chen D, Manning CD. A Fast and Accurate Dependency Parser using Neural Networks. In: Conference on Empirical Methods in Natural Language Processing . Doha, Qatar, 2014, 740–50.


    利益相关:网易云反垃圾服务借助深度学习提供文本、图片、视频、音频过滤云服务。