GAIC 全球人工智能大会预热之四——深度强化学习的来头

Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist,致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标,带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者,他和UAI一起在2014年创建了TASA(中国最早的人工智能社团), DL Center(深度学习知识中心全球价值网络),AI growth(行业智库培训)等,为中国的人工智能人才建设输送了大量的血液和养分。此外,他还参与或者举办过各类国际性的人工智能峰会和活动,产生了巨大的影响力,书写了60万字的人工智能精品技术内容,生产翻译了全球第一本深度学习入门书《神经网络与深度学习》,生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程,均受学生和老师好评。

GAIC 全球人工智能大会有幸邀请到了微软研究院的李力鸿博士。李力鸿博士是微软研究院深度学习技术中心资深研究员。参与了微软多世界测试和探索-发现学习的研究项目。曾经担任国际机器学习大会及神经信息处理会议的领域主席。师从强化学习领军人物之一 Michael Littman。他也是 WSDM 2011 最佳论文和 ASTATS 2011 优秀论文奖获得者。目前工作集中在深度强化学习上。因此,我们在这次会议上让他来介绍这个有趣而又快速发展的领域。

《GAIC 全球人工智能大会预热之四——深度强化学习的来头》

强化学习(Reinforcement Learning),现在常常将其看作机器学习领域的一个分支,但实际上,强化学习的历史可以追溯到更早的时期的研究工作。根据一些文献的记载 ,强化学习本身也有完整的一条发展的脉络,它从动物行为研究和优化控制两个领域独立发展最终经 Bellman 之手汇集抽象为 MDP 问题而完成形式化.

简单说,强化学习是一门学习做决策的技术,通过和环境的交互学习到如何更优地采取决策。实际上,这也是其强大的地方,由于其通用性,所以能够被用在很多的领域中,比如游戏控制、自动驾驶、医疗、广告、推荐系统等等.

首先我们想强调一下这个术语的翻译,现在有些翻译做“增强学习”,实际上并不十分妥当。或者说丢掉了它的一种本质意义。Reinforcement 是一个东西(thing)可以看做是一种信号,借助于这信号,我们的 agent 进行学习,从而提升经验,能够达到一定的决策水平。“强化学习”这个翻译版本最早是南京大学专门从事强化学习领域研究的高阳老师的翻译。这其实能够和这个领域的发展源头承接起来,因为最早来自动物行为研究的学者采取的技术其实就是这种强化机制。我们提到这点的目的就是,在翻译时选择一定要慎重,这样可以避免不必要的误解。因为我们看到现在很多的译来物用语非常混乱,甚至是错译,这是一定要注意的.

强化学习是非常严谨的领域,发展至今其实仍旧生机蓬勃,理论和应用也出现了. 不过之前的若干研究成果,往往在真实的场景中应用起来却非常困难。首先,维度灾难的存在使得我们很难高效地求解最优的策略或者计算最优行动值. 另外强化学习其中包含的思想——贪婪、动态规划、近似等等都是算法中最为关键的部分,也是这些方法使用得比较极致的地方. 因此,才有不少人持续在其上很多年不断地推进研究的深入和一般性.

在 Warren B. Powell 的一篇短文中说道,很多来自不同领域的人,都在忙着自己的一亩三分地上耕耘,自得其乐;实际上,这些人做出来大部分工作本质上都差不太多,因此他的建议是大家从一个全貌看待问题和学科,找到相通联的点,以此出发,找到潜在的连线,最终形成整体的面的认知.

最后结合 AlphaGo 团队的 leader 也是他们发表在 Nature 的论文并列一作 David Silver 的强化学习课程给出一个强化学习的概貌:

《GAIC 全球人工智能大会预热之四——深度强化学习的来头》

本次大会李力鸿博士将会介绍深度强化学习技术及其应用,相信能够带来一定的干货和独到的见解,而这些对于很多人来说都是至关重要的。希望大家密切关注,不要错过这场极具启发性的报告!

购票地址:http://gaic.sxl.cn
普通票优惠码是 GAICFEI

    原文作者:朱小虎XiaohuZhu
    原文地址: https://www.jianshu.com/p/1fed5f3c2ed9#comments
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞