大数据文摘出品算法
来源：thegradient网络
编译：Fisher架构
随着机器学习的日益流行，网上出现了愈来愈多的在线课程，个个都说本身在教“开创AI职业生涯”的必备技能。框架
不过，在注册一门课以前，你应该了解你将要get的技能究竟可否直接帮你把机器学习玩得更转。这点不仅限于在线课程，也针对不少大学里开设的机器学习课程——学生们趋之若鹜的这些课程，真的能帮他们达成他们的实际目标吗？机器学习
机器学习教育的现状函数
在参与过一所AI方面顶尖大学的机器学习基础课程的主干以后，我发现了大部分此类课程所遵循的大纲：它们倾向以线性分类器开始，在引入回归和分类两个概念的同时介绍损失函数和最优化，随后会有一两周来细讲反向传播，而后就彻底进入到神经网络。学习
若是该课程主要关注深度学习，它会用剩下的大部分时间讨论各类神经网络（循环神经网络RNN，长短时间记忆网络LSTM，卷积神经网络CNN，等等）和最近发布的重要架构（好比ResNet，BERT）。大数据
反之，若是该课程更关注通常性的机器学习，它会介绍其余的机器学习方法分支，好比无监督学习和强化学习。优化
咱们能够把这些课程的关键论题提炼出来：先是对有监督学习做一律览，再对有监督学习和神经网络的数学基础作简要介绍，继而或者介绍深度学习的各类方法，或者介绍机器学习的其余领域。设计
另外，看一看课程做业涵盖的内容，也有助于咱们弄清楚该课程的主要目标。
做业一般被组织成以下形式：
学生获得一个结构化良好的数据集；
介绍一个机器学习中的模型或者核心概念，而后学生把这个模型的基础推演一遍；
学生实现这个模型；
在给定的数据集上跑模型，作一些轻量化的超参数调试；
画出结果来看模型表现如何。
在了解课程内容和做业设计以后，咱们基本上知道了这些课程指望学生学到什么。它们但愿学生掌握相应领域的关键模型，而它们采起的方法就是简单地涵盖了所述模型的理论基础，而后要求学生在做业里实现其主要的关键功能。
把机器学习用起来须要的技能
经过跟机器学习工业界的行内人士聊天，我了解到有几个关键技能是成功必备的。首要的技能就是学会如何妥善清洗和分析数据。
个人一位同窗很是认同这一点，他在最近的一次实习中花了8周时间来收集和处理数据，而后才能着手把模型用到数据集上。机器学习模型极度依赖数据，所以，掌握这项技能很是重要，它将确保你知道如何利用数据集的关键特性。
其次，对工业界的项目而言，大多数任务是找不到大型数据集的。所以，许多深度学习技术没法使用——可能会带来过拟合以及泛化能力差（poor generalization）的问题。相应地，人们经常用更简单的、不须要大量数据的模型来做为替代方案，好比随机森林或者logistic回归。
这样一来，可以用合适的库（好比sci-kit learn）妥善地使用这些模型就成了颇有价值的技能。事实上，一个朋友告诉我，他在微软公司的机器学习岗位上实习时，整整一个夏天都只是在跟logistic回归的各类变种打交道。另外，随着计算机视觉和天然语言处理领域的大型预训练模型的出现，深度学习有时候只是一个精细调参的过程。这进一步增长了熟悉简单、基本的模型的重要性。
可是，对学术界的研究来讲，大型数据集一般容易获得，时间限制也不是大问题，所以咱们能够训练更大的深度学习模型。例如，Open-AI的GPT3模型足足有1750亿个参数。要造出这么大的架构，关键是要知道如何从工程上设计和搭建这样的一个大型深度学习系统。这就须要精通PyTorch和Tensorflow二者中的一个，这项技能让研究者可以快速有效地实现一个理论模型。
把须要的架构造出来很重要，可是大部分模型还须要进行超参数调节才能有良好表现。在搭建实用的机器学习系统时，很是关键的一项技能就是对调节过程的设计有直觉把握，而非盲目地去调节。就拿我一个最近在英伟达实习的朋友来讲，他有一段时间死活调很差某模型的参数，直到最后发现是他选择的初始化区间有问题，致使模型中的多数ReLU激活函数处于抑制状态而使得学习迟滞。
缺失何在
既考察了机器学习教育的现状，又讨论了真正的机器学习实践所须要的技能，如今咱们能够评论一下教育的缺失何在了。对比课程涵盖的内容和实践的要求，有一点很清楚，学生们所受的关于如何管理数据的教导是有欠缺的。
一方面课程提供的数据集很干净，已经作了很好的预处理，另外一方面，除了画出几个数据点，课程也没有鼓励太多的对数据的挖掘。这种对数据集进行清洗和挖掘的一手实践的缺少，对学生真正上阵时的实践能力很是不利。
另一点，尽管课堂上提供了对关键理论框架的数学背景的直觉式的讲解，可是为何特定任务下给定的模型就比其余模型要有更好的表现，这背后的理论给学生们讲得不够。结果就是，尽管学生也熟悉很多模型，他们仍是不知道哪些模型最适合给定的数据集和任务。不彻底懂得关键模型和技术的数学基础的所有细节，学生无法在特定情境下快速选对模型。
哪些已经作得不错了，哪些还能作得更好
经过对课堂知识到实践技能之间的缺失的分析，咱们能够看到大多数课程在传授基础知识上作得不错。课程里讲授的概念可让你理解一个机器学习算法是如何工做的，它如何才能收敛。课程还让学生可以熟悉适用于不一样任务的各类最佳算法，并接触到普遍的学习材料，可助有志者进一步深刻。
可是，提高空间仍是很大的。不少课把开始的几周时间花在同一个地方：线性分类器和反向传播。这些无疑是关键的主题，可是把将近三分之一的课时花在讲授预备知识上并不是最佳选择——把本科生和研究生的内容作个区分会颇有用。
研究生课程能够要求学生们已经掌握了预备知识，或者指示学生先去修本科生的同类课程。这样就给课堂留出了充足的时间，能够教授学生们如何处理课堂关注的特定领域的数据，或者进一步细化了解该领域内的关键理论框架。
我相信这样作可让机器学习的课堂把课堂知识和实践技能更好地联系起来。很明显，做为系列课程的一部分，一门课的孤立改变是作不到这点的，只有整个社群的协调改进才能保证学生们得到最新最有用的知识。
学校为什么应当重视？
虽然弥合本文提到的缺失对提高学生的实践能力绝对有用，不少课程仍是会表示培养工业界须要的能力不是它们的事。可是，这些技能远不仅是工业界须要的，而是具备可迁移性。
事实上，它们在几乎任何情境下都有用。例如，在学术研究中开发新模型的时候，也须要知道如何妥善地处理数据，以及哪些技术能带来更有利的结果。另外，这些技能是如此基本，掌握它们会让学生成为更好的机器学习实践者——对于一门课程来讲，任何有益学生知识结构的东西都应当重视和教授。
基于目前的课程现状，咱们能够说，AI课程可以带你入门，无论你是想从事前沿研究仍是找一份业界工做，可是它们不会教授你须要的一切。要弥合缺失的部分，你须要本身付出大量的课外努力。
相关报道：
https://thegradient.pub/the-gap-where-machine-learning-education-falls-short/
实习/全职编辑记者招聘ing
加入咱们，亲身体验一家专业科技媒体采写的每一个细节，在最有前景的行业，和一群遍及全球最优秀的人一块儿成长。坐标北京·清华东门，在大数据文摘主页对话页回复“招聘”了解详情。简历请直接发送至zz@bigdatadigest.cn
志愿者介绍