NLP入门课程推荐:斯坦福cs224N

讲个梗(出处找不到了):

“天苍苍,野茫茫,NLP技术哪家强?

可汗问所欲,木兰不用尚书郎,愿驰千里足,NLP技术哪家强?”

四川成都找老王。

这个梗估计知道的人不多了,皮一下很开心。

第一次接触NLP是在读书的时候,同学推荐了一本讲Lucene源码的书,里面提到了分词、TFIDF、BM25等概念,后来在吴军老师的数学之美中了解到统计学在其中起到的作用。毕业后的工作主方向在搜索、推荐上,对这块的知识点一直停留在听听组内分享,回家给老婆吹吹牛的状态。

涉足NLP主要有几个原因,一是随着业务的发展,除了NLP在搜索上的传统应用,我们还找了个同学,搞了智能客服机器人,上线效果很不错,NLP的应用变的越来越重要。而自己也急需去提升非排序领域的技术视野,二是因为深度学习大火,而深度学习在排序场景,其实并没有里程碑式的进展,希望能学习一些其他领域的知识,来帮助深度学习在排序上的落地,他山之石可以攻玉。

可能是工程出身的原因,特别喜欢从一个具体的项目开始搞,也就有了当时这篇文章:https://zhuanlan.zhihu.com/p/31574667,参考的原文是:http://karpathy.github.io/2015/05/21/rnn-effectiveness/。说实话,当时被震惊到了,如此简单的模型结构,能有如此效果。比较郁闷的是,char-rnn的效果无法进一步了,虽然加上attention、BI-direction等,能更好一点,但离人类可阅读差距还是比较大。

继续快糙猛的撸了seq2seq+attention,DSSM、textCNN等(当然,我用pytorch我自豪),开始有点迷茫,知识体系太乱了,萌生了找门课好好学下的想法。

可能是对斯坦福的课程有感情吧,选了cs224N,在YouTube上找了它的视频,撸了一遍,当然题还没有做完。不习惯YouTube的同学,可以去bilibili,上面还有中文字幕,但有不少是翻译是错误的。

腼腆又略带激动的语调、红扑扑的脸庞深深的吸引了我,画风大概是这样的:

《NLP入门课程推荐:斯坦福cs224N》
《NLP入门课程推荐:斯坦福cs224N》

课程对我的帮助主要在两块,一是课程的知识非常新(官网上的资源以及是18年春的,而视频还是17年的,有部分会对不上),包含目前最新的研究内容,而且内容全,涉及到Dependency Parsing、Coreference Resolution、Tree Recursive Neural Networks and Constituency Parsing、Reinforcement Learning for NLP等平时都不会关心的领域。

二是网罗了高质量的相关论文,省去了自己找论文的精力。当前简直可以用爆炸增长来描述新产生的论文数量,课程syllabus里放了很多相关的论文:http://web.stanford.edu/class/cs224n/syllabus.html(PS:打印机君最近有点累),可以按图索骥,慢慢啃下来,例如:

《NLP入门课程推荐:斯坦福cs224N》
《NLP入门课程推荐:斯坦福cs224N》

最后在谈几点感慨:

一:ZJU的CS号称国内第三(据说国内的CS排名没有第二、第四、第五、第六),但教学的质量上完全没法和人家比,建设一流大学的路任重而道远。还好在线教育的发展,一定程度上会缩小这个差距。

二:用pytorch撸一遍常用模型,对各种细节的认知会提升很多,且比TF省力多了。虽然我爱Pytorch,但是还是给团队的生产环境选型了tensorflow,真是矛盾。

三:个人心路历程从觉得NLP好难—>NLP套路好少好单一—>NLP真的是好难。外面图像的同学offer飞一样的涨,隔壁广告ctr预估的同学又搞出了多少多少的提升,坚持在NLP领域努力的同学都是真爱吧,点个赞。

课程地址:http://web.stanford.edu/class/cs224n/syllabus.html

视频地址:https://www.youtube.com/watch?v=IxQtK2SjWWM&index=12&t=1544s&list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6

打个气:路漫漫其修远兮,吾将上下而求索

    原文作者:吴海波
    原文地址: https://zhuanlan.zhihu.com/p/38387843
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞