承接上一篇博客《研一一年论文总结（上）》，依旧和上一篇博客一样按照NLP任务来分类总结研一一年看过的全部论文。其实这部分基本可以看作是文本生成的专题了，由于本人一直在做高考作文生成方面的研究，所以看了很多文本生成相关的论文。

转眼间研究生第一年马上就要结束了，再过几天就要进入研二了，是时候把研一这一年看过的论文做一个简单的总结了，不过本人水平有限，有不足和错误的地方还望海涵和指出。
本人目前从事NLP相关的研究，所以论文基本都是NLP方向的，这次按照NLP任务对所看过的论文进行分类规整一下。

首先明白EM算法是什么，它是一个优化算法，而且大多数情况针对的是最大似然问题。其实从名字也可以看出EM算法的用途，最大期望算法，“期望”二字表明算法主要针对概率问题，“最大”说明这是在求解优化问题。

Deep Learning最开始就是从CV方向火起来的，而CV中最常用的模型就CNN（卷积神经网络，theano实现一个CNN模型可以参考CNNModel.py）。当然了目前CNN已经不局限于只在CV领域使用，NLP中也开始广泛应用CNN，具体可参看我的另外一篇博客《卷积神经网络（CNN）在NLP中的应用》（github传送门：GRU-or-CNN）。

纵观机器学习或者深度学习算法，都没有某一个算法只适用于某一个领域，大多数在某个领域取得显著成果的算法，稍加修改后在别的领域依旧能够取得非常不错的结果。我们知道卷积神经网络（CNN）广泛用于计算机视觉中，大约从2014年开始ImageNet参赛队伍提交的模型基本都是基于CNN的。在卷积神经网络在图像领域取得巨大成果后，有研究人员开始在自然语言处理领域开始使用卷积神经网络，早期的研究是在句子分类任务上做的，基于CNN的模型取得了非常显著的效果，这也表明了CNN同样适用于NLP领域的一些问题

到条件随机场（CRF），就不得不提最大熵（ME），可以说这两是最常见的概率无向图模型，并且同时都在NLP很多问题中大显身手，比如，在NLP中最基础的词性标注任务中，就经常使用ME和CRF。由于ME和CRF建模思想不同，也就导致ME和CRF是从不同角度来解决词性标注问题的，ME是将这一问题看作是分类问题的（即，输入当前词的特征，然后由ME模型给出一个类别标签），而CRF则是将其视为序列标注问题（CRF会对整个输出序列进行建模）。