我在亚马逊学到的三样东西,为个人机器学习职业之路作好了准备

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”微信


做者:Jesse Freeman机器学习

编译:ronghuaiyang
编辑器

导读

亚马逊是一家伟大的公司,其中有不少值学习的地方,这篇文章的做者在亚马逊待了5年,这三点是他感觉最深的。ide



我在亚马逊工做了5年,只差几天就能拿到求之不得的“黄色徽章”。值得注意的是,亚马逊的平均任期在一到两年之间。虽然有不少关于在亚马逊工做的故事,但我以为那里的文化比任何教程都更能帮助我从游戏开发转向机器学习。学习

若是你不太了解Amazon的文化,那么快速搜索一下是值得的。此外,虽然我能够写一整本书来描述我在那里的经历,但我想我应该把重点放在我学到的三件事上,这三件事让我为这个新的职业生涯作好了准备:数据驱动型、6页纸写做和神机妙算。Amazon有一组原则,称为领导力原则,这些原则为其独特的文化作出了贡献。自2014年我加入亚马逊以来,这种文化让亚马逊得以成倍增加。下面是我如何将这些知识应用到个人机器学习中。测试

数据驱动的概念,多是亚马逊企业文化中最重要的部分。云计算

数据驱动

虽然我工做过的不少公司都说他们这样作,但我尚未找到一家像亚马逊这样的公司。每次计划或策略会议都是在回顾历史数据、实时数据和将来数据预测之间进行微妙的平衡。亚马逊将其归结为一门科学。spa

从试图将大量数据提炼成可随时纠正方向的可消化形式的每周业务报告(WBR),到大多数团队都有专门的数据分析师这一事实。分析师的惟一工做是帮助构建每周报告,链接不一样业务单元之间的报告系统,并尽量多地自动收集数据,这样咱们就能够随时得到业务单元状态的快照。.net

机器学习的核心是数据自己。没有有用的、干净的、可靠的数据,就没有办法准确地训练、测试和验证模型。此外,尽管在构建模型的实际过程当中投入了大量的时间和精力,可是理解数据自己是一项关键技能。orm

研讨会的题目是“将‘数据’应用于数据科学”,它彻底聚焦于使用医学数据进行深度学习的挑战。任何对机器学习感兴趣的人都应该具有的一项重要技能是,不只可以理解如何管理和处理数据,并且可以对数据进行分割、验证和清理。你的实验只取决于你所拥有的数据,知道如何管理数据一样重要。我在亚马逊学到了不少关于数据的重要性以及如何正确使用数据。

写6页纸

亚马逊以其写做文化而闻名。虽然他们在介绍中告诉你,任何人均可以提出一个想法,从零开始建立一个新的业务,好比关于AWS是如何产生的神话,但实现的方式是经过6页纸。这些都是详细的文档,不只解释了一个战略或计划,并且它还必须以叙述的形式编写。在亚马逊的会议上没有ppt演示。

大多数会议都包括前半部分阅读文件,后半部分在文件上戳洞。要想在亚马逊取得成功,你必须可以使用数据来证实你的观点,以一种其余人可以理解的方式阐明你的观点,并建立一份任何人都能理解的文档,不管他们是否参加了你的会议。

任何在机器学习领域工做的数据科学家或工程师都应该具有的最关键的技能,可以和别人沟通他们在作什么,如何复制它,以及它提供的价值。

数据科学社区的很大一部分围绕着撰写和阅读研究论文。所以,尽管这很容易类比到6页纸在亚马逊工做的重要性,由于写论文就像写博士论文,但实际上,数据科学家应该记录他们的研究,缘由有不少。一般,他们是在团队中工做的,所以可以跟踪为达成解决方案而采起的步骤是相当重要的。在没有大量实践的状况下,可以捕获并与团队或公司外部的其余人分享这些知识并非每一个人都具有的技能。

我认为这是任何在机器学习领域工做的数据科学家或工程师都应该具有的最关键的技能之一,可以沟通他们在作什么,如何复制它,以及它提供的价值。

管理资源

从外部看,亚马逊彷佛是一个拥有几乎无限资源的大型组织,事实上,每一个部门的团队一般都很小。他们的规模很小,有时甚至处于人手不足的边缘。此外,团队被指望精益运行,相应地管理有限的资源,并且大多数时候,你会身兼数职。

虽然一个团队能够得到更多的资源,但亚马逊的核心宗旨是节俭。要想在亚马逊取得成功,你必须充分利用现有资源,并富有创造力地实现最终目标。甚至还有一个原则叫作“行动的偏见”,它容许你不受限制地去作一些事情,只要是为了最终目标的利益。

我不指望每次训练之间所花费的时间会不多,也不指望GPU资源可以加快速度。

随着我对机器学习的深刻研究,我清楚地认识到,管理资源在我进行的每一次实验中都扮演着相当重要的角色。我没法预料到每次训练之间所花费的时间,也没法预料到GPU资源须要加快速度。另外,随着我进行愈来愈多的实验,我须要找到创造性的方法来平衡云计算的可扩展性和利用本地资源。

在大多数状况下,我将尽量多地进行本地测试,而后在云上同时运行个人实验,在多台计算机上进行不一样的修改,以更好地帮助选择最佳解决方案。目前,数据科学家很难招聘,因此颇有可能你最终会在更小的团队中工做,须要弄清楚如何在每一个人之间共享资源,并在下降成本的同时加快训练模型之间的时间间隔。这是一个微妙的平衡。

END

英文原文:https://towardsdatascience.com/three-things-i-learned-at-amazon-that-prepared-me-for-a-career-in-machine-learning-63b6dae5bc5

请长按或扫描二维码关注本公众号

喜欢的话,请给我个好看吧


本文分享自微信公众号 - AI公园(AI_Paradise)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。

相关文章
相关标签/搜索