深度学习的出现让很多人工智能相关技术取得了大幅度的进展，比如语音识别已经逼近临界点，即将达到Game Changer水平；机器视觉也已经在安防、机器人、自动驾驶等多个领域得到应用
而自然语言处理（NLP）被视为深度学习即将攻陷的下一个技术领域，在今年全球顶级的NLP学术会议ACL上，我们也看到大量的在深度学习引入NLP方面的探索研究
让我们跟随阿里的科学家们一起去探求深度学习给NLP带来些改变
一、会议概要 ACL2016于2016年8月7日至12日在德国柏林洪堡大学召开，本届参会人数在1200人左右
其中，8月7日是Tutorial环节，8月8日－10日是正会，8月11日－12日是若干主题的workshop
本届ACL2016 Lifetime AchievementAward winner是来自斯坦福的Joan Bresnan教授，词汇功能文法的奠基人
参会的阿里巴巴同学们 二、Tutorial总结 1、《Computer Aided Translation》 这个tutorial的报告人是约翰霍普金斯大学的Philipp Koehn教授，他是统计机器翻译领域的领军学者之一，在基于短语的机器翻译模型方面做了很多影响深远的工作，主持了著名的开源统计机器翻译系统Moses的开发
最近几年，Koehn教授重点关注如何借助机器翻译技术来帮助译员如何更有效率地完成翻译工作，即计算机辅助翻译技术（CAT），并得到了欧盟CASMACAT项目资助，这个tutorial也算是整个CASMACAT项目的总结
在这个报告中，Koehn介绍了在这个项目中开发的一系列新的CAT技术及其实际效果
与在线术语库、记忆库、译后编辑等传统手段不同，CASMACAT结合了SMT的大量研究成果，例如置信分（confidence score）、复述（paraphrasing）、可视化词对齐（visualization of word alignment）、翻译选项阵列（translationoption array）等，为译员提供了更加丰富的信息，从而为辅助翻译提供了更好的灵活性
图1、翻译选项阵列 这个项目实现了一套完整的在线CAT系统（CASMACAT），通过对大量译员的实际使用情况进行数据统计，并结合眼部跟踪（eye tracking）等认知分析，证明这些新的CAT方法的确能够提升译员的工作效率，提升产出
总体上，这个报告的内容属于比较偏应用型的工作，学术上的创新工作不多，因此受到的关注不如其它学术性报告多，但它是一个非常完整的实用性工作，通过把机器翻译的新技术与CAT场景进行创新的结合，并通过大量真实用户的使用验证这些技术的有效性
2、《NeuralMachine Translation》 这个tutorial的报告人是斯坦福大学的Christopher Manning教授、他的博士生Thang Luong以及纽约大学的助理教授Kyunghyun Cho
Manning教授在NLP领域的影响力非常大，是统计NLP领域的领军学者之一，最近几年也逐渐转向深度学习，在递归神经网络、句法分析、词向量、神经机器翻译等领域做了很多开创性工作
Luong和Cho也是近几年暂露头角的青年学者，尤其是在将深度学习应用于NLP领域做了不少创新的研究
这个tutorial对目前神经机器翻译的研究进展做了一个阶段性的总结
虽然NMT真正开始兴起的时间不到3年（大致从2013年Kalchbrenner和Blunsum发表《Recurrent continuous translation models》开始算起），但迅速在研究界掀起了新的热潮，并取得了巨大进展，在一些语言上的效果已经超越了传统的方法
报告首先回顾了最近20年占统治地位的SMT方法，然后介绍了几年之前将神经网络作为新特征集成到传统解码器的思路，接下来重点介绍了大家非常关注的端到端的神经机器翻译（End2end NMT）
报告中以一个具体的NMT实现为例，详细描述了一个NMT的序列到序列框架及相关的最大似然估计和beam-search解码过程
报告最后描述了NMT研究近期的发展趋势，包括引入LSTM和attention机制，以及如何通过sub-word或基于字符解码来尽量减少受限词表对最后翻译效果的影响等
图2、一个典型的encoder-decoderNMT框架 总的来说，这个报告对于我们更好理解NMT基本原理，了解当前面临的主要问题以及最新的研究成果都非常有帮助
图3、Manning教授、Luong和Cho在Tutorial上 3、《SemanticRepresentations of Word Senses and Concepts》 来自罗马大学的J Camacho-Collados，I Iacobacci，R Navigli，以及剑桥大学的MT Pilehvar共同带来了这次《词义和概念的语义表示》的Tutorial分享
Word(词)是句子、文章、文档的重要组部分，但是Word Representation有比较大的局限性，例如：一词多义以及词义消歧等，因此本文详细介绍基于语义表示(Sense Representation)技术，而此领域作为一个基础领域可以在众多领域进行广泛的应用，例如：语义相似度、语义消歧、信息挖掘、语义聚类等等领域进行应用
并且系统的通过基于知识库(knowledge-based)和无监督(unsupervised)两个不同的技术体系与方案进行相关领域成果及方法系统的介绍
整个Topic虽无特别创新的地方，但是实用性较高，基于知识以及无监督的方法大部分在工业场景都可以借鉴，可以一读
Slides下载地址：http://wwwusers.di.uniroma1.it/~collados/Slides_ACL16Tutorial_SemanticRepresentation.pdf 4、《UnderstandingShort Texts》 短文本理解的主题从字面意思理解就非常接地气
在日常的很多领域中都会产生大量的短文本，包括搜索、问答以及对话、推荐等领域，而短文本带来的问题也非常明显，包括稀疏问题、噪音问题以及歧义问题
因此这里就会产生大量的工作以及有意思的工作
本次报告的分享人是来自前微软亚洲研究院(MSRA)的研究员王仲远(目前已经在Facebook)以及来自Facebook的王海勋(前Google以及前MSRA高级研究员)
可能是因为本次Topic分享人来自于企业界，加上相对接地气的分享主题，因此本次分享吸引了不少产业界以及学术领域的同学前来参加，包括Amazon、Yelp、讯飞、百度、微软等
本文在短文本的理解技术上从文本语义明确(Explict)表示与隐性(Implict)表示将处理的方法技术分成了两种类型：ERM(Explict Representation Model)和IRM(ImplictRepresentation Model)
图4、EMR and IMR ERM还是基于结构化知识库或者知识图谱，切分成为单实例和上下文多实例的两种类型分别进行短文本的理解； 单实例的处理方式：单实例的查询是否有歧义，无歧义既返回，有歧义进行基础基础的概念模型进行归一和分类，最终进行语义相似度的方法进行倾向性理解的方法； 多实例短文本的方式：语义分词处理与切分(文中提到了有监督和无监督N-Gram的方式，而在实际场景这个问题相对会更加成熟，可以参考中文分词技术)，实体及结合上下文的实体识别、消歧和类型标注，到实例之间的关系标注，到最终的语义相似度计算； IRM更多基于embedding和deep learning的方法做短文的理解与计算
本文还是有不少实际工业可以借鉴的地方，可以关注并读一下
slides下载地址： Understanding Short Texts 三、会议详细内容 1、机器翻译方向 《Multimodal Pivots for Image CaptionTranslation》，这篇论文入选了本届会议的杰出论文，作者是德国海德堡大学的Julian Hitschlerand ShigehikoSchamoni和Stefan Riezler，所做的工作比较有新意
论文工作要解决的问题是改进图片标题的翻译质量，但并不是通过扩大双语句对、优化解码器等方法实现，而是先用图像检索的方法在目标语言图片库中检索与源语言图片相似的图片，然后用其所带的标题和机器翻译输出的译文组合之后进行重排序，从而显著提升了标题翻译的质量
对于改进机器翻译质量，这个工作并没有试图直接硬碰硬地去改进核心算法，而是另辟蹊径，反而取得了更好的结果
《Modeling Coveragefor Neural Machine Translation》，这篇论文的作者是来自华为诺亚方舟实验室的涂兆鹏博士和李航博士，其核心思想是要解决之前基于注意力（attention）的NMT框架中由于缺少已翻译范围指引而导致的过翻（over-translation）或欠翻（under-translation）问题
论文引入了一个覆盖向量来跟踪NMT的attention历史，并在解码过程中反馈给attention模型，帮助后者不断调整未来的attention，从而从全局上记录哪些词已翻，哪些词未翻
这个工作解决了之前NMT框架中一个比较明显的缺口，对于NMT系统的实用化具有很好的价值
《Phrase-LevelCombination of SMT and TM Using Constrained Word Lattice》，这篇论文的作者是来自于都柏林大学ADAPT中心的刘群教授、Andy Way和李良友
文中使用了一种受限词图结构，将输入的短语和由记忆库施加的约束条件编码到一个向量里，从而将SMT和TM在句子级实现了融合
这是众多NMT论文中为数不多的仍然以传统SMT和记忆库（TM）为主题的工作
考虑到TM在实用系统中仍是不可缺少的部分，这个工作也是具有一定的应用前景的
图5、Phrase-Level Combination of SMT and TM UsingConstrained Word Lattice 2、机器阅读与理解 机器阅读理解是约在5、6年前逐渐为人关注的领域，它可以说是自然语言理解的终极形态
这个领域的研究形式是让机器先处理一篇文章（新闻文章或短篇故事），然后回答跟文章内容相关的填充题，要填充的一般都是某个实体的名字
（注：为了避免利用外部资源来作弊，常用做法是把实体名字替换成’@entity1’等特殊符号
） 本届ACL会议正好有一篇优秀论文（“A Thorough Examination ofthe CNN/Daily Mail Reading Comprehension Task”）是关于阅读理解的
该论文的重点在于借助一个基于CNN和每日邮报新闻数据的评测数据集去探讨当前阅读理解技术所能解决的范围
论文作者实现了两个相当标准的系统，一个基于传统分类器，另一个基于神经网络，然后对两个系统的表现作抽样调研
调研结果是：(i) 只需要字面匹配就能解答的问题是两个系统都能百分百回答正确的；(ii) 大部分阅读理解问题的关键在于同义表达的理解和若干程度的文本、常识推理，这方面基于神经网络的系统能达到90%上下的水平；(iii) 牵涉到代词指代和需要消化多个句子信息的问题，两个系统的表现都只达到50%左右；(iv)连一般人都难以回答的问题，机器也同样没辙，只能偶尔蒙中一两题而已
换言之，这篇论文一方面印证了神经网络确实是解决同义表达和简单文本推理的一个良好框架，但同时亦指出了要机器阅读理解的未来方向在于篇章级的理解方法
另外一篇论文“Text Understanding with theAttention Sum Reader Network”在这个CNN/每日邮报数据集上使用了另外一套基于神经网络的方法，也得到几乎一样的准确率，印证了顶尖研究者都已经达到一样的水平了
3、语言与视觉 这个又名“language grounding”的领域是NLP和computer vision的交叉领域，近年来也越来越受到关注
今年ACL有两篇论文对现实产品有相当意义
第一篇是“Learning Prototypical EventStructure from Photo Albums”
这篇论文指出不少照片簿其实都是关于一个大主题（例如婚礼），这个大主题往往由好几个小主题组成（例如交换戒指、新郎亲吻新娘、抛花球、切结婚蛋糕），而这些小主题往往也有一个时序
（见图6）论文作者于是提出一套方法，利用照片图像之间的相似度/差异度、照片标题的相似度/差异度、主题之间的顺序关系来对照片簿进行切分，并利用图像分类和文本分类对每个切分出来的部分给出一个主题标签
图6、照片簿的自动切分和分类 第二篇值得注意的论文是来自微软研究院的“Generating Natural Questions about an Image”
论文指出目前的image captioning（自动赋予图片标题）研究通常都会对照片给一个很客观但也很干巴巴、‘没有人文关怀’的标题，例如对于图7中的照片，一般的系统都会给出“有个人在摩托车旁边”或类似的标题
这种标题抓不住整张图片的重点，因此也不能引起读者兴趣
这篇论文应该是关于Tay（英文版微软小冰）的一个功能，就是用户上传一张如图7的照片，然后聊天机器人回应一句像“发生什么意外了？”或“司机受伤了吗？”的回应
论文作者收集了并人工标注了一个相关的数据集，也提出生成式和检索式的两套方法
图7、自然与不自然的相片标题 4、对话系统 《On-line Active Reward Learning for Policy Optimization in SpokenDialogue Systems》，用于口语对话系统策略优化的在线自动奖励学习，来自于剑桥大学工作的Paper，也荣获了本次ACL2016学生Best Paper
此Paper提出了一种在面向任务的对话系统中，通过增强学习来优化对话管理策略，构建了一个在线学习框架：对话策略，对话镶嵌函数和基于用户反馈的主动奖励机制三部分组成，如图所示
图8、在线学习框架 通过Gaussian过程分类法与一种基于神经网络的无监管式对话嵌入方法，提出了一种主动的奖赏函数学习模型
通过Reinforcement Learning的方式，主动询问客户收集更多的信息来得到精确的奖赏函数，实现在线学习策略
相比人工语聊标注以及离线模型的方式上有很大的创新
Paper下载地址：http://aclweb.org/anthology/P16-1230 《DocChat: An Information Retrieval Approach for Chatbot Engines UsingUnstructured Documents》，此篇长文是由微软亚洲研究院(MSRA)周明老师团队的工作
本文适合场景是聊天场景，不适用于强逻辑和知识业务匹配场景
通常我们在做聊天对话的时候，我们有两种方式：一种是基于检索的方式(Retrieval-Based)，还有一种就是基于sequence tosequence的Deep Learning生成方式，比如基于LSTM的方式
但是两种方式基于都是大量的基于QA Pair对的数据展开的工作
本文的第一个创新的点是直接依赖于非结构化RawData作为数据源输入，而不依赖标准的QA Pair对数据，通过非结构化数据中直接计算获得合适的Response
框架技术思路设计路径还是传统的检索方式：非结构化文本按照句子进行分割，先从已有的非结构化数据集中进行召回，然后进行Ranking排序，最后进行置信度计算
其中较为核心的部分就是回复Ranking的特征选择及模型选择了，本文提出了多level特征的选择，包括：word-level, phrase-level,sentence- level, document-level, relation-level, type-level 和 topic-level
整体评测方案上其实是有提升空间的，语聊类的通过“0”和“1”的方式判断其实不是特别合适，可以修改成为对、错和相关等更为复杂的评测方案
Paper下载地址：http://aclweb.org/anthology/P16-1049 5、信息抽取与情感分析 IE的论文今年集中在slot filling， NER，entityResolution 和coreference.Slot filling在2009 KBP 提出以来，一直以来效果不好很好，F-score大约只有30%
跟relation extraction比较而言，有跨篇章，同义词，多种关系等问题
季?团队一直保持着比较好的实验效果
此次，他们提出了一种基于图挖掘的方案，取得了明显的提升
NER也是IE比较传统的任务，今年论文的创新仍旧多基于深度学习
Coreference和 entity resolution保持了近几年colletive和知识表示两个方向上发力
Sentiment由于学术界数据的缺乏，domain adaptation仍旧十分热，近几年domain adaptation也在使用deep learning模型
综合来看，今年这两个课题中规中矩，有不错的创新点，但没有大的突破
6、句法分析 句法分析可以称作是自然语言处理领域的核心任务之一，每年ACL会议上都有较大数量的相关论文和sessions
然而与过去二十年所取得的进展相比，现在的句法分析研究越来越给人一种“做无可做”的感觉（甚至一部分熟悉的研究人员已经离开这个领域）
也许宾州大学构建的标准树库所带来的红利已经消失了？ 现在人们相当程度上把希望寄托在深度学习上
从某种意义上讲，这也是大势所趋：搞深度学习的希望在搞定语音和图像之后能够进一步挑战自然语言处理/理解，而做语言处理的研究者则需要深度学习来扩展自己的研究手段
句法分析同样不能例外，过去两三年，句法分析领域出现大量基于深度学习的研究工作，通过构建不同的（通常比较复杂的）网络结构
在2016年ACL工作中，我们看到研究重点回归到如何将深度学习用作更有效的工具，譬如说研究如何利用深度学习模型的非线性特点减小分析算法的计算代价，或者研究如何利用深度学习与经典方法（例如reranking）进行结合
下面会有相关论文的介绍
句法分析领域另一个值得关注的点是实验数据的多样化
前面提到了宾州树库（英文的PTB、中文的CTB、朝鲜语的KTB）
做句法分析研究的同学都知道，这几个数据集是句法分析研究的标准数据集，从1992年开始，我们大部分句法分析实验都是在这些数据集上进行
但是近几年这几个标准数据集逐渐暴露出不足之处
因此开始出现了一些帮助研究继续往前发展的新数据集
Google在2012年推出WebTreebank，除了覆盖宾州树库原有数据以外，Web Treebank中还包含一个问句测试集和一个超大规模的无标注数据
[1]这个数据集通常用于领域适应性研究
在依存分析领域，近几年出现了Universal Dependencies，其目标是通过一套规范对多种语言进行统一的标注
[2]在成分句法分析领域，出现了覆盖八种语言的SPMRL (Morphologically rich language) 数据
[3]在新数据集上的工作开始增多
这些数据的基础性工作在某种程度上讲要比深度学习更值得研究
依存句法分析的效率优化 依存句法分析的方法基本上可以分为两大流派：基于图的方法和基于状态转移的方法
与状态转移方法相比，基于图的方法建模能力更强，但是解码的时候需要依赖动态规划算法，难以避免具有较高的时间复杂度（状态转移方法具有线性时间复杂度）；而且它的时间复杂度与采用的子图大小正相关：子图越大，复杂度越高
下图展示了从一阶到三阶的不同依存子图
为了使基于图的句法分析方法在实际应用中更加可用，有必要去研究如何使基于图的依存句法分析器跑得更快
图9、一阶到三阶的不同依存子图 今年有两篇工作与这个主题相关
来自北京大学的Wang and Chang 始终采用最低阶（一阶）的依存子图进行建模，但是考虑到一阶子图的上下文信息不足，他们采用双向的LSTM对子图进行打分，以此弥补上下文信息缺失的问题
经典的基于图的模型（例如MST parser）采用MIRA模型对子图进行打分
因此这篇工作其本质是始终采用一阶子图对句法树进行拆分，但是底层的打分函数换成了双向LSTM，因此其时间复杂度仍然为O(n^3)（通过有效 剪枝可以使复杂度减小到O(n^2)）
双向LSTM的网络结构如图10所示
Wang and Chang利用了图方法的一个特性，即解码的时间复杂度与子图大小正相关
基于图的句法分析方法另一个重要特性是：解码过程实际上是在有向无环图中寻找最大生成树
如果能把有向图换成无向图，那么寻找最大生成树的算法就会简单很多
来自以色列和印度的一篇联合工作就解了这个问题
给定一个句子，首先生成无向图，基于该无向图生成（无向的）最大生成树，最终的依存树将由无向的最大生成树推导得到
图10、双向LSTM的网络结构 基于神经网络的成分句法分析 在EMNLP2014上有一篇来自StanfordNLP组的开创性的工作（Chen and Manning, 2014)，提出基于Feed-forwardNeural Network的状态转移依存分析器，它通过减少特征抽取的时间成本，造就了目前为止单机速度最快的依存句法分析器
在这项工作的基础上有一系列的后续工作（包括Google开源的SyntaxNet）都是基于该模型改进完成
很自然的产生一个想法：能否利用该网络结构进行成分句法分析的工作
来自法国的Coavoux and Crabbe今年就做了这样一篇工作
他们除了采用Chen and Manning 2014的网络结构以外，还采用了dynamic oracle技术
Dynamic oracle技术最开始也是在依存分析上首先提出的，其基本思路是：基于训练数据的标准答案(gold oracle)进行模型训练不一定是最佳的，因为在解码的时候很容易产生错误，导致无论如何也得不到gold oracle，dynamic oracle的思想就是根据当前的状态（可能是错误状态）学习一个最有利于模型优化的oracle.这项dynamic oracle技术在成分句法分析中同样有效
7、词向量和句向量 Word Vectors和Sentence Vectors总共被安排了三场，并且被组委会安排在了最大的两个会议室（Audimax和Kinosaal），多少可以代表当前自然语言处理领域的热点话题和方向，包括在其它的一些专场（比如Semantics等）也或多或少使用到了类似的深度学习和词嵌入的技术
因为涉及到的内容比较多，以两篇文章为例： 《Compressing Neural Language Models by Sparse Word Representations》一文主要针对现在神经网络模型过大带来的时间开销以及内存占用的问题，提出了一种压缩算法使得模型的参数伴随着词典的膨胀缓慢增加，并且在Perplexity上的评估性能也有所改善
该文方法的主要优点在于：一、放松了对硬件特别是内存消耗的限制，使得模型在移动端部署大为方便；二、特别提升了对罕见词的表示效果，因为常见的神经网络语言模型无法很好地调优梯度
解决上述问题的思路在于将罕见词表示为常见词的稀疏线性组合，这一思路来源于日常生活中我们往往用几个常见词来解释一个不熟悉的词
因此将我们的目标转化为求解罕见词的最优稀疏编码（每个词4-8个）
因此最终用来压缩模型的方法定义为，对于常见词采用传统的稠密词向量的求解方式，对于罕见词采用常见词的稀疏组合来作为其向量，使用LSTM与RNN作为模型的隐藏层，而其它权重值的求解方式与传统的类似，从而达到了网络的参数数目基本与词典大小无关（或者说关系很小）
最终的实验结果从性能（Perplexity）与内存开销减少两方面来说明价值，如图11、12所示
图11、压缩模型与基线在Perplexity上的性能比较 图12、模型在内存消耗上的减少（%） 另一篇很有意思的文章是来自于墨尔本大学和剑桥大学合作的《Take and Took, Gaggle and Goose, Book and Read: Evaluating theUtility of Vector Differences for Lexical Relation Learning》
从标题可以看出这是一篇探索词汇间关系的论文，这是一项非常基础并且非常重要的工作，我们日常都会用到word2vec这种非常实用的工具，但对词之间的关系并未做过多的探索，比如经典的king ? man + woman = queen或者paris ? france + poland = warsaw，作者认为两个词向量之间的差值代表了某种含义（更确切的说法是代表了两个词汇的某种关系），比如前者可能是性别关系，而后者可能是代表了首都的关系
为了证明此种关系是否可靠并且不依赖于特定的语料，作者选择了十多种典型的关系，比如整体与部分（airplane and cockpit）、行动与目标（hunt and deer）、名词与群体名词（antand army）以及单复数（ dog and dogs）、过去时态（knowand knew）和第三人称形态（accept and accepts）等等大量数据，并且通过聚类得到结果，如图13；作者发现这种“通过词向量的差值来刻画词汇间关系”的方式是可靠并且具备普遍通用性的
除此之外，作者还探索了使用有监督数据集做分类的方法和应用
图13、典型关系的聚类结果，部分离群点可能是由于多义词的影响 这方面的研究对于机器翻译和人机交互具有很强的应用价值，对这一领域的探索毫无疑问Google走在了前面，包括之前开源的word2vec，以及他们的机器翻译团队发现在英语中的这种词汇关系同样适用于西班牙语和德语等等
除此之外，还有一个专场专门介绍Sentence Vectors，主要介绍了其在Attention Mode、Negation Scope Detection以及Summarization方面的应用
四、总结 1、今年的ACL上，深度学习不出意外地依然成为会议的主角，并在自然语言处理的几乎所有领域的重要问题上得到大规模应用，包括：语义表示、机器翻译、信息提取、情感分析、自动问答、对话等
继深度神经网络在图像、语音等研究领域取得突破性进展后，机器翻译领域的研究者们从2013年后也开始尝试在翻译模型中引入多层神经网络模型
从最初的把神经网络语言模型作为传统SMT解码器的特征之一，到后来完全取代SMT解码器的Encoder-Decoder框架，应该说NMT在短短两年多时间里快速推进，无论是研究上还是应用上都已经隐然要取代传统SMT框架
2、虽然端到端的神经机器翻译系统取得了很大进步，在一些公共测试集上已经追赶或超越传统的统计机器翻译系统，但它之前也存在一些难以解决的问题，比如：由于词表大小限制导致的OOV翻译问题、已翻译的词过翻或欠翻问题等，这些问题在今年的ACL论文中已经出现了部分解决方案，虽然还不能说非常完美，但至少已经看到了改进的希望
这些也是我们后续值得重点关注的工作
3、整体的“自动化”及挖掘和利用知识还是主要的旋律，技术上Deep Learning持续火热
对比工业界目前如火如荼的大量chatbot产品，在平台化技术上要解决的其实也是这两个问题，使得chatbot更加智能
当然对比工业界目前开始逐步开始在大规模场景结合深度学习的技术，这个需要一个发展和落地的过程
本次会议中一些知识利用及对话构建机制上的思路在工业界是可以借鉴的，还有一个较为需要关注的亮点或者说工业界可以参考和需要关注的是，ReinforcementLearning的应用和发展是一个新的发声点和亮点
4、句法分析的研究仍然不少，但是可能确实是到了一个瓶颈
目前一个思路是去研究引入深度学习，建立新的模型之后，一些“老”技术如何迁移过来
譬如说reranking技术，原来在n-best list和forest基础上取得的效果非常好，现在在neural network-based的系统上如何引入reranking，是一个值得研究的问题
今年南京大学的Hao Zhou等人就做了这样的一篇有趣的工作
另外一个就是数据，现在universal dependencies和SPMRL还不够，新数据的构建和研究还有较多的工作要做
5、学术界是比较少研究应用的，不过也会看到一些比较有趣的可以直接应用起来的技术
譬如今年Anders Bjokelund等人做了一个句子切分和句法分析的联合模型
这个工作与之前MSRADongdong Zhang等人做的一个标点预测与句法分析联合模型相类似
假设需要对语音识别的结果进行分析理解，那么这样的一个模型应该会有比较大的作用
类似的思路，由于句法分析处于很多应用的核心位置，我们其实可以考虑把应用中的其它任务与它进行联合建模
