终身机器学习：一种可持续学习的范式

前言：

最近发现了一篇颇有意思的论文，有关集成学习中的可持续性的研究，这里翻译了一下，供了解和学习使用

刘兵：美国芝加哥大学的计算机科学教授。他的研究包括情绪分析和意见挖掘、终身机器学习、数据挖掘、机器学习和天然语言处理。他目前担任ACM SIGKDD的主席，ACM Fellow, AAAI Fellow, and IEEE Fellow。

下面是正文内容：

引言：

　　机器学习(ML)对数据分析和人工智能(AI)的广告都有帮助。最近，深度学习的成功使它达到了一个新的高度。在工业、科学和工程领域，几乎全部的应用程序都成功地使用了ML算法。

　　目前对ML的主流范例是在给定的数据集上运行一个ML算法来生成一个模型。该模型随后应用于现实生活中的任务中。咱们把这种范式称为孤立学习，由于它不考虑任何其余相关的信息或过去的知识。这种孤立学习的根本问题在于它没有记忆。它不保留过去的知识，并利用它来帮助将来的学习。所以，须要大量的训练样本才能有效地学习。对于监督学习，训练数据标签一般是手工完成的，这是很是耗费人力和时间的。因为世界上有太多可能的任务，所以几乎不可能为每一个任务标记大量的示例，以便进行一个ML算法来学习。更糟的是，每件事都在不断变化，所以标签须要不断地进行，这是一项艰巨的任务。当前的孤立学习模式可能不适合构建一个真正智能的系统，但只适合在很是狭窄的领域中解决问题。

　　咱们人相似乎学到了不少不一样的东西。咱们从不孤立地学习。相反，咱们老是保留并积累过去学到的知识，并在将来的学习中无缝地使用它。随着时间的推移，咱们学习得愈来愈多，知识愈来愈渊博，学习愈来愈有效。终生机器学习(简称LML)(简称终生学习)旨在模仿人类学习过程和能力。这种类型的学习是很天然的，由于咱们周围的事物都是紧密相关的和相互关联的。过去的概念和它们之间的关系能够帮助咱们更好地理解一个新的主题，由于不少事情在不一样的领域和任务中都是共享的。例如，咱们人类不须要1000个正面评价和1000个负面评论，由于一个ML算法须要创建一个精确的分类来识别关于电影的负面评论和负面评论。事实上，对于这个任务，若是没有单独的训练回顾，咱们就能够执行分类任务了。怎么能这样呢?缘由很简单。这是由于咱们在过去已经积累了不少关于人们如何赞赏和批评事物的知识，尽管这些赞赏和批评可能都是在线评论的形式。事实上，若是没有过去的知识，人类可能很难在2000年的积极和消极的训练评估中手动创建一个好的分类器。

终身机器学习的定义：

　　定义：终身机器学习(LML)是一个接二连三的学习过程，在这个过程当中，学习者已经完成了N个学习任务，T1，T2，..TN。当面对(N+1)的任务TN+1和它的数据DN+1时，学习者能够利用其知识库(知识库)(内存)中的先验知识来帮助学习TN+1。知识库存储并维护在过去学习N个任务时所学习和积累的知识。在学习了TN+1以后，知识库更新了从TN+1中学习的(中间和最后的)结果。

　　陈等人[1]的这必定义代表，LML的关键特征是 1)持续学习，2) 知识积累在知识库(知识库)中，3)利用知识库中的知识来帮助将来的学习。这些特色使它有别于其余相关的学习任务，如转移学习[2]和多任务学习[3]。

　　迁移学习(TL)：使用一个源域来帮助一个目标获取域学习。它假设源域S有大量的标记训练数据，目标域T只有不多或没有标记的训练数据，但有大量未标记的数据。TL利用被标记的数据来帮助在目标域中学习。因为几个缘由，TL与LML不一样。首先，TL不是连续的。它只使用源域来帮助目标域学习。其次，TL并无积累所学的知识。第三，TL是单向的，使用源来帮助目标。LML能够在任何方向上进行。第四，TL假设源与目标很是类似。这种类似性是由人类用户决定的。LML并无作出这样一个强有力的假设。人类用户一般不参与肯定任务的类似性。

　　多任务学习(MTL)：的目标是执行多个类似学习任务的联合优化，这样它们就能够共享彼此的知识，从而得到更好的总体效果。然而，MTL仍然在传统的范式中工做。在优化单个任务的过程当中，它会优化几个任务。若是咱们把几个任务看做一个更大的任务，它就会减小到传统的优化，这在MTL的大多数优化公式中都是如此。随着时间的推移，它不会积累任何知识，它也没有持续学习的概念，这是LML的关键特性。尽管有人会说MTL能够在添加新任务时联合优化全部任务，可是在单个进程中同时优化全部任务是至关困难的，由于任务是很是不一样的，并且是很是numer的。

终身机器学习的历史：

　　LML的概念是在1995年由Thrun和Mitchell [4]提出的。从那时起，它就被研究了四个主要方向:

　　终身监督学习，Thrun [5] 开始学习终身概念学习，每个过去或新任务都是一个阶级或概念。在基于记忆的学习和中立的网络环境中，提出了几种LML技术。在参考文献[6]中，神经网络方法获得了改进。费等[7]将这种形式的LML扩展到累积学习，在遇到新类时，构建了一个新的多类分类器，能够对全部的过去和新类进行分类。它还检测测试中未见的类。这为自我学习铺平了道路，由于它可以探测到看不见的类，从而使它学习新的东西。Ruvolo和Eaton[8]提出一种有效的LML算法(ELLA)来改进一种多任务学习方法。陈等[1] 人在朴素贝叶斯分类的背景下提出了一种LML技术。对LML的理论研究是由Pentina和Pentina [9]所作的。

　　陈和刘[10]首先提出了终身无监督学习的终身学习模式。随后，他们也报告了其余几个模型。所提出的技术能够从许多过去的任务中学习知识，并利用这些知识帮助在新任务中生成更一致的主题。刘[11]等人提出了一种利用LML方法提取信息的方法，刘[12]提出了一种终生的图形标记方法，将两种类型的表达式分离开来。

　　终生的半监督学习在这个领域的工做是由永无止境的语言学习者(NELL)系统[13]所表明的。自从2010年1月以来，NELL一直在为信息提取而不断地阅读网络，而且已经拥有了数百万的实体和关系。

　　终生强化学习Thrun和Mitchell [4]第一次学习终生强化学习(LRL)，用于机器人学习。Tanaka和Yamamura [14]提出了一种“LRL”方法，将每个环境视为一项任务。Bou Ammar等[15]人提出了一种政策梯度有效的LRL算法。

总结：

　　虽然LML已经存在了20多年，但到目前为止尚未进行大量的研究。一个缘由多是，过去20年里的ML研究侧重于统计和算法的方法。LML一般须要系统方法。然而，随着统计机器学习的日益成熟，研究人员意识到它的局限性，LML将变得愈来愈重要。能够确定的是，若是没有LML的能力来积累学习的知识并在过去的知识的帮助下学习新的任务，那么咱们将没法创建一个真正的智能系统。咱们只能在很是狭窄的领域内解决问题。

 

参考文献：

1.Chen Z Y, Ma N Z, Liu B. Lifelong learning for sentiment classification. In: Proceedings of ACL Conference. 2015

2.Pan S J, Yang Q. A survey on transfer learning. IEEE Transaction on Knowledge and Data Engineering, 2010, 22(10): 1345–1359

3.Caruana R. Multitask learning. Machine Learning, 1997, 28(1)

4.Thrun S, Mitchell T M. Lifelong robot learning. In: Steels L, ed. The Biology and Technology of Intelligent Autonomous Agents. Berlin: Springer, 1995, 165–196

5.Thrun S. Is learning the n-th thing any easier than learning the first? Advances in Neural Information Processing Systems, 1996: 640–646

6.Silver D L, Mercer R E. The task rehearsal method of life-long learning: overcoming impoverished data. In: Proceedings of the 15th Conference of the Canadian Society for Computational Studies of Intelligence on Advances in Artificial Intelligence. 2002, 90–101

7.Fei G L, Wang S, Liu B. Learning cumulatively to become more knowledgeable. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016, 1565–1574

8.Ruvolo P, Eaton E. ELLA: an efficient lifelong learning algorithm. In: Proceedings of International Conference on Machine Learning. 2013, 507–515

9.Pentina A, Lampert C H. A PAC-Bayesian bound for lifelong learning. In: Proceedings of International Conference on Machine Learning. 2014, 991–999

10.Chen Z Y, Liu B. Topic modeling using topics from many domains, lifelong learning and big data. In: Proceedings of International Conference on Machine Learning. 2014

11.Liu Q, Liu B, Zhang Y L, Kim D S, Gao Z Q. Improving opinion aspect extraction using semantic similarity and aspect associations. In: Proceedings of the 30th AAAI Conference on Artificial Intelligence. 2016

12.Shu L, Liu B, Xu H, Kim A. Separating entities and aspects in opinion targets using lifelong graph labeling. In: Proceedings of Conference on Empirical Methods in Natural Language Processing, 2016

13.Mitchell T, Cohen W, Hruschka E, Talukdar P, Betteridge J, Carlson A, Dalvi B, Gardner M, Kisiel B, Krishnamurthy J, Lao N, Mazaitis K, Mohamed T, Nakashole N, Platanios E, Ritter A, Samadi M, Settles B, Wang R, Wijaya D, Gupta A, Chen X, Saparov A, Greaves M, Welling J. Never-ending learning. In: Proceedings of the 29th AAAI Conference on Artificial Intelligence. 2015, 2302–2310

14.Tanaka F, Yamamura M. An approach to lifelong reinforcement learning through multiple environments. In: Proceedings of the 6th European Workshop on Learning Robots. 1997, 93–99

15.Bou Ammar H, Eaton E, Ruvolo P, Taylor M. Online multi-task learning for policy gradient methods. In: Proceedings of the 31st International Conference on Machine Learning. 2014, 1206–1214

 

原文连接：https://link.springer.com/article/10.1007%2Fs11704-016-6903-6