数据科学家与数据工程师html
数据科学家和数据工程师的主要区别,能够用ETL和DAD的区别来解释。算法
ETL(提取/变换/载入)是数据工程师,还有数据架构师或数据库管理员(DBA)的职责。数据库
DAD(发现/获取/提炼)是数据科学家的职责。编程
数据工程师每每把重点放在软件工程、数据库设计、生产环境代码上,并确保数据在来源(在那里它被收集)和目的地之间平稳地流动(在目的地那里经过统计摘要提取和处理,或经过数据科学算法产生结果,并最终转移到源或其余地方)。数据科学家却须要了解数据的流动和如何优化(尤为是使用Hadoop时)。实际上不是优化数据流自己,而是数据处理的步骤,从数据中提取出价值。数据科学家与工程师和商业人员一块儿工做,定义指标、设计数据收集方案,并确保数据科学流程与企业数据系统(存储、数据流)有效地集成。对于在小公司工做的数据科学家,尤为如此,这也是数据科学家应该能编写可被工程师重复使用的代码的缘由。浏览器
有时数据工程师也操做DAD,有时数据科学家也操做ETL,但这并不常见,且他们一般是在公司内部才这么作。例如,数据工程师能够作一些统计分析,以优化一些数据库流程,而数据科学家能够作一些数据库管理,以管理一个保存汇总信息的、小型的、本地的私有数据库。服务器
DAD包含如下内容。网络
发现:识别良好的数据源和指标。有时(与数据工程师和业务分析师一块儿工做),对应该建立的数据提出需求。架构
获取:获取数据,有时经过API、网络爬虫、互联网下载或数据库,有时是从内存数据库获取数据。机器学习
提炼:从数据中提取信息,作出决策,增长投资回报率,并采起行动(好比,在自动投标系统中,肯定最佳的投标价格)。它包括如下内容。数据库设计
— 经过建立数据字典和进行探索性分析,对数据进行探索。
— 清洗数据杂质。
— 经过数据汇总进一步提炼数据,有时是经过多层汇总或分层汇总来实现的。
— 对数据进行统计分析(有时会采起像实验设计这样的作法,因此在前面的“获取”阶段也能够进行),自动和手动均可以。可能须要设计统计模型,也可能不须要。
— 在某些自动过程当中呈现结果或集成结果。
数据科学是计算机科学、商业工程、统计学、数据挖掘、机器学习、运筹学、六西格玛、自动化和行业知识的交叉点。这些不一样的领域,加上业务的愿景和行动,聚集了一系列的技术、流程和方法。数据科学是链接不一样组件的过程,有助于业务优化,并消除那些下降业务效率的孤岛。它也有本身独特的核心,(例如)包括如下主题。
高级可视化。
分析即服务(AaaS)和API服务。
大规模数据集的聚类与分类。
计算大数据的相关性和R平方。
任何数据库、SQL或NoSQL都应该有的11个特征。
快速特征选择。
Hadoop/Map-Reduce。
网络拓扑。
大数据中关键词的相关性。
在常规空间、超平面、球面上或单纯形上的线性回归。
无模型置信区间。
特征的预测能力。
无模型的统计建模。
大数据“诅咒”。
MapReduce不能作的事。
请记住,一些雇主寻找的是具有丰富统计知识的。然而,有时招聘经理不知道他真正想要的是什么,若是你告诉他你的专业知识所带来的附加价值,你可能会说服他雇用你,哪怕欠缺他们预期的某些技能。对于雇主,招聘Java软件工程师,再要他们学习统计学,比反过来更容易。
数据科学家与统计学家
许多统计学家认为,数据科学是关于分析数据的,但它远不止分析数据。数据科学还涉及实现算法、自动处理数据,并提供自动化的预测和行动,好比:
分析美国宇航局的照片,以寻找新的行星或小行星。
自动报价系统。
自动驾驶(飞机和汽车)。
在Amazon.com或Facebook上推荐书和朋友。
针对全部酒店客房的客户定制(实时)订价系统。
在计算化学中模拟用于癌症治疗的新分子。
流行病的早期检测。
(实时)估计美国全部房屋的价值(Zillow.com)。
高频交易。
为用户和网页匹配谷歌广告,以最大限度地提升转化率。
为全部谷歌搜索返回高度相关的结果。
信用卡交易评分(欺诈检测)。
税收欺诈检测与恐怖行为检测。
天气预报。
全部这些都涉及统计科学和TB级的数据。大多数作这些类型的项目的人,并不称本身为统计学家。他们称本身为数据科学家。
几个世纪以来,统计学家一直在收集数据并进行线性回归分析。300年前、20年前、如今或在2015年由统计学家进行的DAD,跟现在数据科学家进行的DAD截然不同。关键是,最终随着愈来愈多的统计学家学会这些新技术,而更多的数据科学家学会统计科学知识(采样、实验设计、置信区间——不仅是第5章中描述的那些),数据科学家和统计学家之间的边界将变得更加模糊。事实上,我能够看到另外一种数据科学家正在兴起:具有深厚统计知识的数据科学家。
数据科学家和计算机科学家的区别是,数据科学家有更强大的统计学背景,特别是在计算统计方面,但有时则是在实验设计、采样和蒙特卡洛模拟方面。
数据科学家与业务分析师
业务分析师专一于数据库设计(高层次的数据库建模,包括指标定义、仪表盘设计、检索和生成管理报告,并设计报警系统)、评估各类业务项目和支出的投资回报率及预算问题。一些业务分析师从事营销或财务的规划、优化和风险管理工做。许多业务分析师从事高层次的项目管理工做,直接向公司主管汇报。
有些任务也由数据科学家完成,特别是在较小的公司:指标的建立和定义、高层次的数据库设计(收集什么样的数据以及如何收集),或计算营销,甚至增加黑客(最近创造的一个词,来形容一种角色,它可以快速增长公司互联网访问流量,扩大公司或产品的影响力,这种工做涉及较强的工程和分析技能)。
数据科学家让业务分析师有提高空间,例如,帮助将报表制做过程自动化,使数据提取速度更快。数据科学家还能够教给业务分析师FTP和基础的UNIX指令知识:ls -l、rm -i、head、tail、cat、cp、mv、sort、grep、uniq -c及管道和重定向操做符(|, >)。而后,能够在数据库服务器上编程或安装一段代码(业务分析师一般是经过浏览器或工具,如Toad或Brio访问服务器),以检索数据。全部的业务分析师都必须作的是:
1.建立SQL查询(甚至要有可视化工具),并保存为SQL文本文件。
2.将它上传到服务器并运行程序(例如,一个Python脚本,读取SQL文件并执行它,检索数据,并将结果存储在CSV文件中)。
3.输出结果(CSV文件)到业务分析师的电脑中,作进一步分析。
对于业务分析师和数据科学家,这样的合做是共赢的。在实践中,这样的合做已经帮助业务分析师提取的数据比他们过去所使用的数据要大100倍,并且提取速度快10倍。
总之,数据科学家并非业务分析师,但前者能够极大地帮助后者,包括帮助业务分析师将任务自动化。此外,若是数据科学家能带来额外的价值,具有额外的经验,他更容易找到工做,特别是在只有一个职位预算的公司,当雇主不能肯定是雇用业务分析师(开展总体分析和数据任务)仍是数据科学家(有商业头脑,能够执行一些一般分配给业务分析师的任务)时。在通常状况下,业务分析师是优先聘请的,但若是数据和算法变得过于复杂,也会雇用数据科学家。若是你建立本身的创业公司,你须要扮演两个角色:数据科学家和业务分析师。
13个真实世界情景中的数据科学应用
如今让咱们看看13个在真实世界情景下的例子,了解现代数据科学家能够帮助咱们作些什么。这些例子将有助于你学习如何专一于一个问题和如何形式化一个问题,以及如何仔细评估全部潜在问题——总之,是学习数据科学家在提出解决方案以前,如何定位问题和进行战略性思考。你也会看到为何一些普遍使用的技术,如标准回归,可能并不适合全部状况。
数据科学家的思惟方式不一样于工程师、运筹学专业人士、计算机科学家。虽然运筹学涉及不少分析,但这一领域的焦点是具体业务优化层面,如库存管理和质量控制。运筹学涉及国防、经济、工程、军事等领域。它采用马尔可夫模型、蒙特卡洛模拟、排队论、随机过程,以及(因为历史缘由)Matlab和Informatica工具。
数据科学会遇到两种基本类型的问题。
1.内部数据科学问题,如损坏的数据、粗心的分析或使用不恰当的技术。内部问题不是针对业务而言,而是针对数据科学社区。所以,解决办法包括训练数据科学家更好地工做,要他们遵循最佳作法。
2.业务应用问题是现实世界中的问题,所以要寻求解决方案,如欺诈检测,或识别一个因素是缘由仍是结果。这些可能涉及内部或外部(第三方)数据。