一份关于人工智能、机器学习和大数据的报告

本报告旨在提供将来数据相关领域的职业机会概述。这份报告将有助于理解这些正在发展的技术带来的各类机遇和影响。

前言

Analytics Vidhya

2018是特殊的一年.咱们看到来自实验室的人工智能和机器学习成为了咱们平常生活的一部分。不管是亚马逊开设的无人便利店"Amazon Go"仍是Google在Gmail上推出的智能回复，人工智能都已经成为了咱们身边的常客。

建立这份报告的目的是为咱们的数据科学社区提供宏观层面发生变化的背景，以及他们如何为即将到来的变化作好充分的准备。因此，若是您已是数据科学专业人员或者您想进入数据科学，咱们但愿这份报告能够为您提供背景信息并为您将来的学习作好准备。

Analytics Vidhya和Great learning 目前都处于建立印度下一代数据科学生态系统的最前沿，咱们真的但愿这份报告能够帮助您一睹将来的发展方向。

为了你最好的将来，请不断的学习

Kunal jain

创始人兼首席执行官

greatlearning

人工智能和机器学习的时代已经到来了，这些领域都有可能对印度的行业产生重大的影响。使智能系统成为可能的技术,数据和人才的组合达到临界值，推进人工智能的投资增加。在印度努力重振生产力增加的同时，AI人工智能和机器学习有望填补这一空白。事实上，金融、国防、网络安全、医疗保健和环境保护等行业都已经采用了人工智能，而且取得了进展。但真正让公司有优点的是找到适合解决内部问题的AI方案。如何找到这个方案？创新才是关键。为了实现这一目标，咱们须要时间建立一个生态系统来培训AI专业人员，咱们正在寻找培养在AI领域的人工智能专业人员。这份报告不是咱们的努力，而是与Analytics Vidhya一块儿努力也是为了让人们在这个快速发展的领域抓住机遇。

这是一个使AI人工智能实现飞跃的时代

Mohan Lakhamraju

创始人兼首席执行官

以数据为中心的转换和变动

"正如电力在100年前几乎改变了一切,今天的我很难找到一个理由不认为人工智能将在将来的几年内改变行业"-Andrew NG(吴恩达)

咱们在生活的方方面面都感觉到了数据科学和人工智能的影响。Amazon 是如何知道你对哪一种产品最感兴趣?或者你的手机是如何明白是"你"须要看手机解锁呢？当咱们须要送朋友礼物的时候，咱们会纠结于咱们的朋友中会喜欢什么样的礼物，这个时候,Google不只会建议各类礼物，还会在眨眼之间展现这些产品的广告。即便是您所访问的超市，也能够确保在结帐柜台引发您的注意。您的银行可以实时的区分潜在的欺诈和真实的交易，不只如此，他们还能够决定哪些客户值得信任,以及信用卡的额度是多少。不只仅是这些，人工智能的可能性和影响性在咱们的生活中是无限的。

在接下来的十年左右的时间中，咱们将看到每一个行业都会发生巨大的变化。医疗，银行，网络安全只是这其中的一小部分。因此如何捕获数据并利用它将会是在将来的日子里面定义这些行业新格局的关键。

数据将会是这一切的核心

当你读到这篇文章的时候正在发生转变 - 数据将会是这一切的核心

这就是为何如今几乎任何职业都须要不断的提升本身的技能而且学习这场游戏的新规则。咱们如今须要的管理人员不只仅要了解业务的领域,还要了解咱们正在得到的数据，以及如何去利用这些数据为公司创造竞争的优点。

数据科学和今天的颠覆

咱们如今获取、存储和分析数据的能力已经完全改变了当今行业的运做方式。当人们从床上醒来的那一刻，智能手机上的应用程序已经开始尽量多地捕获数据，并利用这些数据为他们带来好处。这清晰的描绘了当今行业正在努力的利用人的行为模式。这份报告的目的就是帮助人们了解数据是如何几乎破坏了全部行业的运做方式。

在咱们在进一步讨论以前，咱们先来看一个简单的统计数据——在Gartner公司的一项调查中显示，在印度有超过100万家注册公司，而且这些公司中有75%的公司已经投资或者计划投资大数据领域。

大公司,大投资,大数据

让咱们先来看一些有趣的数据——

• 在今天的数字世界中存在着2.7兆字节的数据
• 在Facebook中单独存储,访问和分析30+PB用户生成的数据
• 超过50亿人在全球范围内经过手机拨打电话,发短信,发推文和浏览网页
• 几年前,解码人类的基因最初须要10年才能完成.如今因为有处理大量解码信息的能力,因此在一周以内就能够完成解码人类的基因.
• 沃尔玛须要处理每小时100个客户的交易,这些交易被导入到估计超过2.5PB数据的数据库中.
• 糟糕的数据会使企业损失20%-35%的营业收入

这些简单的陈数强调了咱们今天经过生成、获取、存储和分析数据所拥有的强大功能。可是如今的问题是，咱们是否拥有处理好数据和利用数据的能力?鉴于这些大量的数据,咱们须要具备不一样技能的人来安排,存储和分析数据.

数据科学中的角色

数据科学家

在印度,数据科学家确定是如今最受欢迎的职位之一，数据科学家起薪为7.7万卢比，也是数据科学行业的最高收入者之一。数据科学家可以使用最新技术和技术处理原始数据，经过清理和组织（大）数据执行必要的分析，并以信息的方式向团队提供所得到的数据.

语言/工具:R,SAS,SPSS,Matlab,Stata,Python,Perl,SQL,Hive,Pig,Spark

雇佣单位:领英,强生,百事

数据库管理员

数据库管理员须要确保组织中的每一个须要数据的人均可以访问数据库。此外，还须要确保采起必要的安全措施，以确保存储的数据安全。要成为数据库管理员，须要掌握从SQL和XML到更通用的编程语言（如java）的不一样技术。

语言/工具:SQL,Java,Ruby on Rails,XML,C#,Python

雇佣单位:Reddit,twitter,Tableau

业务分析师

这多是数据科学领域中技术含量最低的.可是，业务分析师经过对各类业务流程的深入理解来弥补技术知识的缺少。所以，业务分析师常常扮演业务人员和技术人员之间的中介角色.

语言/工具:SQL

雇佣单位:Uber,Dell,oracle

数据和分析经理

数据和分析经理负责指导数据科学团队的方向。这个职位巩固了各类各样的基础（如SQL，R，SAS）的强大和特定技能，以及处理小组所需的社交能力

语言/工具:SQL,R,SAS,Python,Matlab,Java

雇佣单位:Coursera,Slack,Motorola Solutions

数据科学的工做在哪里

统计数据显示，印度目前有超过50,000个与数据分析相关的职位空缺。这清楚地代表，咱们并无真正掌握这些可用机会的合适技能。目前与世界相比,印度提供了12%的就业机会,,然而，因为世界上缺少这类技能的人和潜在的需求，此类工做的人才需求数量可能会呈指数级增加。

若是咱们看一下数据科学家职位的招聘数量，就业岗位以及求职者的兴趣,就会发现这类的数量在2017年创下历史新高.然而,求职者的数量几乎是招聘职位数量的一半.这清楚地代表了该行业是多么的须要数据科学家.

数据科学并无局限于任何特定的行业。它的应用跨越多个领域。银行和金融服务是分析和数据科学专业人士的最大市场。2017年，该领域创造了44%的就业岗位。银行业普遍使用数据科学与分析领域来估计和预测市场风险。数据科学普遍应用于欺诈检测和信用风险预测。电子商务也成为分析专业人士的一个巨大市场。电子商务网站推荐引擎的普遍使用为这一领域提供了大量的机会。2017年，电子商务行业创造了12%的分析职位。医疗保健行业也一直在使用数据科学来预测疾病的风险、它们的模式、癌症风险等。媒体等其余行业正在使用数据科学来理解和设计媒体策略，以得到最佳效果。

提升技能-前进的方向

有了这么多的机会，咱们如今应该利用咱们的技能来充分利用它们。要在任何特定领域取得优异成绩，咱们须要掌握正确的基础知识,即便在今天，仍然能够观察到用于SQL的indeed(做业门户)上做业的数量最多。Python和Java紧随其后，可是随着深度学习库的的更大支持，Python愈来愈受欢迎.Hadoop拥有大数据功能,能够处理数百GB的数据。其次是R，这是一个普遍使用的统计和机器学习工具，其次是C。随着Python和R市场的巨大需求，SAS中的工做岗位数量最近出现了降低。

虽然这些工具是当前业界最流行的需求工具，可是还须要了解业界中各类数据驱动角色。尽管各类复杂工具的应用使数据科学家的工做比没有它们时容易得多，但有些技能只有实践经验才能传授。其中之一就是领域知识。对于拥有领域知识的数据科学家或分析师来讲，须要深刻研究并理解领域的整个功能。成为一名优秀的数据科学家的另外一个重要方面是拥有一种分析方法，学习新的工具是一回事，可是须要有正确的方法来对应最合适的结果.

每一个人能够挑选认为适合本身的角色，而后努力得到必要的技能,这个网格是有助于理解特定角色的最重要技能的一个集合.

分析和数据科学产业-及其将来的领域

咱们都看到并经历了数据科学在电子商务和银行等领域的渗透。可是数据的力量并不只限于这些领域。在当今世界，几乎全部的行业都在努力利用数据的力量，咱们估计到2020年，在如下每一个领域中，将有多少人从事分析和数据科学工做:

网络安全——你可能之前据说过——公司必须保护本身免受各类攻击。可是攻击者只须要一次成功的尝试。有了这些可能性，你不能只是试图阻止攻击发生。分析公司一直在撰写报告，并就“大数据分析对各行业网络安全的影响”向“客户”提供咨询。目前，25％的全球最大公司已采用大数据分析技术，以实现至少一种欺诈检测用例的安全性。

到2020年，印度此类的分析工做岗位估计将达到5000个

医疗保健——在不一样的医疗机构(支付方、提供者、制药公司)中，已经有大量的异构医疗数据可用。这些数据集的庞大和复杂给临床环境的分析和后续应用带来了巨大的挑战。

到2020年，印度此类分析工做岗位估计为15000个

基因组学——基因组学是研究生物体完整的遗传物质(基因组)。该领域包括测序映射和分析普遍的RNA和DNA代码。大数据帮助解开了这些基因组序列的基本原理。分析如今被用来检测异常和识别疾病。

到2020年,印度此类分析工做岗位估计将达到2000个

太空探索——大数据已经取得了巨大而有影响力的进展。虽然大数据分析已经被用于研究暗物质，但经过数据发现技术，统计学家和天体物理学家正在应用先进技术来解开宇宙之谜.

到2020年,印度此类分析工做岗位估计将达到350个

农业-农业再也不是一个非技术性工做。分析被普遍应用于农业，特别是精确农业，在那里植物和种子被特别选择用于杂交育种。它还被用来了解土壤成分，加速做物改良。在农业领域发生的大量技术和数据采集使计算机科学成为其中的一个重要部分

到2020年,印度此类分析工做岗位将达到5500个

航空——你知道航空公司使用分析已经很长时间了吗?长期以来，航空公司一直在对客户进行细分。他们观察模式、行为、偏好、支付能力和意愿等，以提供更好的客户体验，并得到最大的收益。

到2020年,印度此类分析工做岗位将达到4500个

无人驾驶交通——无人驾驶汽车成为人工智能和机器学习最流行的应用。无人驾驶汽车能够进行屡次驾驶，并学会根据交通情况自动理解和行动。自动驾驶汽车已经成为机器学习、深度学习、物联网和人工智能融合的先锋产品。

到2020年,印度此类分析的工做岗位将达到7000个.

使用数据能力的热门技能

数据科学目前的发展已经超越了统计学，甚至机器学习。这个行业须要有技能的人来设计和开发机器人和智能机器，这是如今很是高的需求。

人工智能

这就是目前世界正在走向的潮流——拥有一台与人类大脑和智力水平至关或超过人类的机器。正是由于这个缘由，人工智能技术受到了人们的高度追捧。

机器人

机器人目前正在崛起,它们以远远高于人类的速度执行特殊的重复功能,网络爬虫，互联网机器人，聊天机器人等,目前的需求量很大,因此根据这个形式不言而喻,可以设计这些机器人的人更受欢迎。

物联网

据预测，到2020年联网设备将达到500亿部，到2021年市场价值将达到6610亿美圆，物联网是目前最热门的技术。物联网与大数据和分析相结合，将为组织和专业人士创造巨大的机会

AR/VR

虚拟现实能够定义为计算机生成的对真实生活环境的模拟。一个例子是3D商店货架，它能够适应为每一个顾客提供更多相关的商品。加强现实能够定义为一种技术，它将计算机生成的加强层置于现有的现实之上，并经过交互性使其更有意义。

专家的观点

mudit kulshreshta博士

古尔冈大湖管理学院卓越分析中心副主任

因为各行各业都出现了如此多的混乱，应对这种局面的压力多是压倒性的。考虑到这一点，咱们请到了mudit kulshreshta博士.

让咱们看看他有什么要说的……

1. 这些年来，技术领域发生了怎样的变化?您如何看待数据科学在当今世界日益重要的地位?

企业级存储和计算能力对我的来讲愈来愈容易得到和负担得起。在接下来的十年里。大多数企业将经过SAAS、PAAS、DAAS等,将存储、应用和数据平台转移到云计算，物联网再也不是战略选择，而是势在必行。它已经处于大数据和海量数据出现的拐点。咱们已经看到千兆字节的数据以空前的规模和速度经过数字渠道实时流动。从图片到点击流再到视频，现在一切都是数据。开源革命包括公众参与共同创造IT产品、机器学习、人工智能、机器人和机器人。咱们目前正在经历一场技术革命，尤为是数据的获取和使用方式.

1. 目前在机器学习和人工智能领域中，哪些领域从正在进行的工做中获益最多?

从资本货物到零售，从制造到服务，从金融银行到医疗保健的每一个领域都将受益并创建基于ML和AI的差别化商业模式。营销、零售、金融科技和医疗保健等领域已经采用了这种模式，并正在取得进展。

1. 将来5年，哪些工业领域将从这些技术中受益最多?

为了生存和差别化，全部工业领域无一例外地将采用和拥抱这场数字革命。此外，一些新的领域也将被创造出来——从自动驾驶汽车到工业规模的3D打印、加强现实、虚拟娱乐、机器人、基因组研究、大气科学等.

1. 人们在这个阶段应该扮演什么样的角色，这样他们才能在将来的5-10年里作好准备?

坦白地说，这是一场无人幸免的洪水——人们须要参与其中并与之共舞——他们能作的最好的事情就是开始学习技术和计算技能——大数据、ML、Al、云、技术产品管理等等。

1. 从行业对这一领域的高需求来看，专业人士是否有足够的技能来知足这一需求?教育系统须要更新吗?

并不是如此——不只仅是从技能的角度来看——整个世界都毫无准备——就好像整个世界都走在了教育体系的前面——传统的教育机构如今正对其需求作出回应，但这些努力充其量也只是零散的。由数字平台和在线教育推进的点对点学习，填补了传统学校本应填补的空白.

1. 专业人士目前应该关注哪些最重要的技能?

云、大数据分析、机器学习、Al、深度学习——产品管理也将变得相当重要。

1. 另外一个大问题是机器人的自动化。有些人担忧未来可能会有更少的工做。你认为这是真的吗?

传统领域的工做岗位将减小，而上述领域的工做岗位将增长——随着自动化成为一个自我维持的过程，人们将不得不进行变革，并走上持续学习的道路。一线但愿在于，以数字、数据和人工智能为核心的新产业将会出现。这些行业将创造新的就业机会和新的机会

1. 有关于终结者中AI的讨论 - 你对AI做为宏观层面来说对人类物种的影响有什么见解？

尽管人工智能带来了重大机遇，但世界尚未准备好迎接人工智能带来的风险.技术可能有有一个糟糕的主人,可能会被滥用(甚至是无心中的),滥用的规模多是全球性的，影响到数百万人的生活,在这个潜在的人工智能驱动的世界里,咱们离全面了解道德后果还很远.咱们将须要大量的经济，法律和社会法规，来对涉及隐私，未经请求的信息使用和网络欺诈的预防.这些机器人变得自我意识的后果，不管它看起来多么牵强，都是一种可能性。而且已经出现了这种威胁的例子.

将来的路

正如Mudit博士所说，传统领域的工做岗位可能会减小，由于咱们将可以实现重复性工做的自动化。然而，到2020年，非传统领域的机会将大幅增长。咱们正在迈向一个机器能够帮助人类智能的世界，帮助他们在不一样领域提升能力。咱们进入了一个ACs能够理解咱们是否感到寒冷的世界，咱们的医生能够预测咱们患致命疾病的风险。