本文来自网易云社区。算法
百科是这样定义数据挖掘和数据分析的。数据库
数据分析:是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和造成结论而对数据加以详细研究和归纳总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可帮助人们做出判断,以便采起适当行动。数据分析的数学基础在20世纪早期就已确立,但直到计算机的出现才使得实际操做成为可能,并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。安全
数据挖掘:又译为资料探勘、数据采矿。它是数据库知识发现中的一个步骤。数据挖掘通常是指从大量的数据中经过算法搜索隐藏于其中信息的过程。数据挖掘一般与计算机科学有关,并经过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。网络
更详细的将二者进行区分的话,能够从下面几个方面进行理解:运维
数据分析能够分为广义的数据分析和狭义的数据分析。广义的数据分析就包括狭义的数据分析和数据挖掘,咱们常说的数据分析就是指狭义的数据分析。机器学习
数据分析(狭义):工具
(1)定义:简单来讲,数据分析就是对数据进行分析。专业的说法,数据分析是指根据分析目的,用适当的统计分析方法及工具,对收集来的数据进行处理与分析,提取有价值的信息,发挥数据的做用。学习
(2)做用:它主要实现三大做用:现状分析、缘由分析、预测分析(定量)。数据分析的目标明确,先作假设,而后经过数据分析来验证假设是否正确,从而获得相应的结论。大数据
(3)方法:主要采用对比分析、分组分析、交叉分析、回归分析等经常使用分析方法。人工智能
(4)结果:数据分析通常都是获得一个指标统计量结果,如总和、平均值等,这些指标数据都须要与业务结合进行解读,才能发挥出数据的价值与做用。
数据挖掘:
(1)定义:数据挖掘是指从大量的数据中,经过统计学、人工智能、机器学习等方法,挖掘出未知的、且有价值的信息和知识的过程。
(2)做用:数据挖掘主要侧重解决四类问题:分类、聚类、关联和预测(定量、定性),数据挖掘的重点在寻找未知的模式与规律;如咱们常说的数据挖掘案例:啤酒与尿布、安全套与巧克力等,这就是事先未知的,但又是很是有价值的信息。
(3)方法:主要采用决策树、神经网络、关联规则、聚类分析等统计学、人工智能、机器学习等方法进行挖掘。
(4)结果:输出模型或规则,而且可相应获得模型得分或标签,模型得分如流失几率值、总和得分、类似度、预测值等,标签如高中低价值用户、流失与非流失、信用优良中差等。
综合起来,数据分析(狭义)与数据挖掘的本质都是同样的,都是从数据里面发现关于业务的知识(有价值的信息),从而帮助业务运营、改进产品以及帮助企业作更好的决策,因此数据分析(狭义)与数据挖掘构成广义的数据分析。
数据分析,是对数据的一种操做手段。或者算法。目标是针对先验的约束,对数据进行整理、筛选、加工,由此获得信息。
数据挖掘,是对数据分析手段后的信息,进行价值化的分析。
而数据分析和数据挖掘,又是甚至是递归的。就是数据分析的结果是信息,这些信息做为数据,由数据去挖掘。而数据挖掘,又使用了数据分析的手段,周而复始。
数据分析和数据挖掘的最大区别在于,数据分析,是以输入的数据为基础,经过先验的约束,对数据进行处理,可是不以结论何如为调整。例如你须要图像识别,这个属于数据分析。你要分析人脸。数据经过你的先验的方法,就是出来个猫脸。你的数据分析也没有问题。你须要默默的承受结果,并 且尊重事实。所以数据分析的重点在于数据的有效性、真实性和先验约束的正确性。
而数据挖掘则不一样,数据挖掘是对信息的价值化的获取。价值化天然不考虑数据自己,而是考虑数据是否有价值。由此,一批数据,你尝试对它作不一样的价值挖掘。评估,则就是数据挖掘。此时对比数据分析,最大的特色就是,你须要调整你的不一样的先验约束,再次对数据进行分析。而先验的约束已经不是针对数据来源自身的特色,例如信噪比处理算法。而是你指望获得的一个有价值的内容,作先验的约束。以观测,数据根据这个约束,是否有正确的反馈。
大数据是互联网的海量数据挖掘,而数据挖掘更可能是针对内部企业行业小众化的数据挖掘,数据分析就是进行作出针对性的分析和诊断,大数据须要分析的是趋势和发展,数据挖掘主要发现的是问题和诊断。
职业上,有数据分析师和数据挖掘师,这二者的类似点可总结以下:
一、都跟数据打交道。
他们玩的都是数据,若是没有数据或者搜集不到数据,他们都要丢饭碗。
二、知识技能有不少交叉点。
他们都须要懂统计学,懂数据分析一些经常使用的方法,对数据的敏感度比较好。
三、 在职业上他们没有很明显的界限。
不少时候数据分析师也在作挖掘方面的工做,而数据挖掘工程师也会作数据分析的工做,数据分析也有不少时候用到数据挖掘的工具和模型,不少数据分析从业者使用SAS、R就是一个很好的例子。而在作数据挖掘项目时一样须要有人懂业务懂数据,可以根据业务须要提出正确的数据挖掘需求和方案可以提出备选的算法模型,实际上这样的人一脚在数据分析上另外一只脚已经在数据挖掘上了。
事实上没有必要将数据分析和数据挖掘分的特别清,可是咱们须要看到二者的区别和联系,做为一名数据行业的从业者,要根据自身的特长和爱好规划本身的职业生涯,以寻求自身价值的最大化。
网易猛犸大数据平台:网易大数据实践经验积累,一站式大数据应用开发和数据管理平台。内嵌多种数据挖掘算法/包,支持Spark机器学习等,基于业务场景设计的用户操做界面提升了系统的易用性,结束了平台命令行运维的繁琐状态,数据开发工程师和数据分析师经过简单拖拽和表单填写便可完成数据科学相关工做。平台提供多租户支持,不一样租户之间相互隔离,底层使用Kerberos认证,实现了数据的安全性和隔离性,除了认证系统,利用ranger实现了细粒度权限控制,保证了各个租户之间只能查看受权访问的库、表或者字段,此外,平台提供审计功能,经过对用户平台行为的记录、分析和汇报,用来帮助过后生成合规报告、事故追根溯源,提升平台的安全性。