大数据和「数据挖掘」是何关系？---来自知乎

知乎用户，互联网

244 人赞同

在我读数据挖掘方向研究生的时候：
若是要描述数据量很是大，咱们用Massive Data（海量数据）
若是要描述数据很是多样，咱们用Heterogeneous Data（异构数据）
若是要描述数据既多样，又量大，咱们用Massive Heterogeneous Data（海量异构数据）
……
若是要申请基金忽悠一笔钱，咱们用Big Data（大数据）

编辑于 2014-02-2817 条评论感谢

收藏没有帮助举报 做者保留权利

刘知远，NLPer

4 人赞同

我以为 大数据 和 深度学习 同样，是让艰深的计算机概念获得公众认知和承认的有效尝试，不管是 “大”字仍是“深度”，都很是形象也很直观地展现了这些研究课题的挑战和意义，虽然这些研究课题在相关研究领域早已被探索了几十年。

发布于 2014-05-15添加评论感谢

收藏没有帮助举报 做者保留权利

叶开，非参数统计，数据挖掘，R

21 人赞同

谈谈我的看法：
数据挖掘基于数据库理论，机器学习，人工智能，现代统计学的迅速发展的交叉学科，在不少领域中都有应用。涉及到不少的算法，源于机 器学习的神经网络，决策树，也有基于统计学习理论的支持向量机，分类回归树，和关联分析的诸多算法。数据挖掘的定义是从海量数据中找到有意义的模式或知 识。

大数据是今年提出来，也是媒体忽悠的一个概念。有三个重要的特征：数据量大，结构复杂，数据更新速度很快。因为Web技术的发 展，web用户产生的数据自动保存、传感器也在不断收集数据，以及移动互联网的发展，数据自动收集、存储的速度在加快，全世界的数据量在不断膨胀，数据的 存储和计算超出了单个计算机(小型机和大型机)的能力，这给数据挖掘技术的实施提出了挑战（通常而言，数据挖掘的实施基于一台小型机或大型机，也能够进行 并行计算）。Google提出了分布式存储文件系统，发展出后来的云存储和云计算的概念。
大数据须要映射为小的单元进行计算，再对全部的结果进行整合，就是所谓的map-reduce算法框架。在单个计算机上进行的计算仍然须要采用一些数据挖掘技术，区别是原先的一些数据挖掘技术不必定能方便地嵌入到 map-reduce 框架中，有些算法须要调整。
此外，大数据处理能力的提高也对统计学提出了新的挑战。统计学理论每每创建在样本上，而在大数据时代，可能获得的是整体，而再也不是整体的不放回抽样。

发布于 2014-03-07添加评论感谢

收藏没有帮助举报 做者保留权利

张伟棋，candidate for datascience master

8 人赞同

关于大数据的定义不少，引述 Doug Laney 2001 关于大数据的主流定义。
翻译易有误差，下面是英文定义，从容量（Volume），速率（Velocity）和种类（Variety）三个方面来阐述：

• Volume. Many factors contribute to the increase in data volume. Transaction-based data stored through the years. Unstructured data streaming in from social media. Increasing amounts of sensor and machine-to-machine data being collected. In the past, excessive data volume was a storage issue. But with decreasing storage costs, other issues emerge, including how to determine relevance within large data volumes and how to use analytics to create value from relevant data.

• Velocity. Data is streaming in at unprecedented speed and must be dealt with in a timely manner. RFID tags, sensors and smart metering are driving the need to deal with torrents of data in near-real time. Reacting quickly enough to deal with data velocity is a challenge for most organizations.

• Variety. Data today comes in all types of formats. Structured, numeric data in traditional databases. Information created from line-of-business applications. Unstructured text documents, email, video, audio, stock ticker data and financial transactions. Managing, merging and governing different varieties of data is something many organizations still grapple with.
  

而数据挖掘（Data mining）简单的说，则是一个从未经处理过的数据中提取信息的过程，重点是找到相关性和模式分析。

大数据和数据挖掘的类似处或者关联在于： 数据挖掘的将来再也不是针对少许或是样本化，随机化的精准数据，而是海量，混杂的大数据。

编辑于 2014-03-23添加评论感谢

收藏没有帮助举报 做者保留权利

肖智博，大数据是媒体发明出来骗人的

75 人赞同

我仍是一向坚持个人态度：「大数据」是媒体忽悠出来的名词，这东西是用来骗钱和骗项目的。因此也就回答了你的第一个问题，不是延伸。第二个问题是，没有类似度。

接下来好好说。若是说硬要说类似度的话，那么重合度的确是有很高。由于大数据干的事情其实就是数据挖掘作的事情。

数 据挖掘以前叫KDD(Knowledge Discovery and Data Mining, 或者也能够是 Knowledge Discovery in Database)，这样说就很好解释了。数据挖掘就是从海量的数据中发现隐含的知识和规律。那么说，这个东西是啥时候提出来的？上个世纪。大数据啥时候 提出来的？也就这几年的事情吧。因此说，大数据很大程度上是数据挖掘的一个好听的名字。

其实也不能一律否认「大数据」，至少经过媒体的热 炒，让不少人知道了「数据」的重要性。只是不少人都不知道怎么作大数据，由于这个东西原本就是虚的嘛。若是想了解大数据，那么踏踏实实的作法是学习一下 「数据挖掘」和「机器学习」相关的知识。具体的内容，能够搜索一下我之前答过的内容。

发布于 2014-02-2722 条评论感谢

收藏没有帮助举报 做者保留权利

许方正，想成为一名***。。。

28 人赞同

谢邀，之前关注过一段时间的大数据，不过如今主要纠结社区发现去了，暂时没用到大数据- -，有什么不对的地方请指正，不过勿喷。。。咳咳，我以为我看过的一本书上讲的还不错的，大体介绍一下。

咱们处理许多问题的核心思想在于样本选取和结果选取：

样 本选取：从好久之前到如今，咱们获取数据的能力以及分析数据的能力都是颇有限的，这就致使，不少数据咱们是没法在咱们须要的时候采集到的，举一个例子：人 口普查。近代美国要求10年进行一次人口普查，可是随着人口的增加速度愈来愈快，到后来统计出国家的大体人口都须要13年了。。所以不能采用普查。所以我 们必须使用另外一种经典的方法，并以此方法达到经过获取少许数据就可以分析大规模问题的目的——抽样。咱们都知道抽样调查是有各类各样的要求和准则，并且合 理性也常常不如人意，可是在以前获取数据难度很大的前提下（只能亲自去看，一个一我的工考察），这种方法的确赋予了咱们处理大规模数据的能力：从里面彻底 随机的（咱们都知道这是不可能的）选择一些正确的（数据彻底正确也是不可能的）数据进行分析。

样本分析：经过上述介绍的抽样方式，咱们获 得了咱们分析问题所须要的数据。咱们如今要开始利用它们，那么怎么利用呢？数据能够是很简单的，例如长度，温度，时间，重量等等；也能够是很复杂的，一本 书，一张图，一个石头。之因此说这些数据复杂，是由于它们是由咱们提到的诸如重量长度等等简单的数据构成的。那么，若是咱们要分析石头的话，将会变得很困 难——由于要处理的数据种类实在太多了，各类数据之间还存在这样那样的影响。这让咱们计算能力严重不足的祖先们（只有笔和算盘，各类函数和公式都么有发 明。。）无比的抓狂。。。由于等咱们用简单粗暴的方式算出来了之后，数据的有效期极可能已通过了（参见前面说的人口普查数据）。所以咱们又发明了一个牛逼 而经典的方法——建模。咱们采用几个对描述这个对象很关键的数据来代替全部的数据，这样，计算量和计算难度都有客观的改善。

上面介绍的就是咱们传统的数据获取和处理方法，下面就要讲一下数据挖掘了。

为何咱们要挖掘数据，我我的认为是由于咱们如今获取数据的难度大大地下降了，因此咱们有了不少不少不少的数据了- -，看着都要吐了。。。是的。。

正是由于看着都要吐了，因此咱们不想看了，咱们想要不用人脑，而让计算机来帮咱们找到数据的价值，因而咱们就要用数据挖掘方法了，也就是肖智博提出来的：数据挖掘就是从海量的数据中发现隐含的知识和规律。因此数据挖掘的前提和大数据的前提是同样的，就是海量数据。因此就方法而言，两者是很相似的。

咱们如今老是提的大数据，我认为主要是一种思路：
1.不使用抽样的数据，而采用所有的数据：这里我指的所有的数据是彻底全部的数据，包括正确的和不正确的数据都要采用。噪声和错误数据一样包含着有用的信息。

2. 不关心为何，只关心是什么：由于咱们有了海量的数据 ，所以咱们经过大数据统计出的结果应该是具备至关程度的普适性的。因此把这种现象-结果拿去套就好了。若是探究和证实因果关系的话，一般是极为困难的。一 个例子就是经典的啤酒和尿布，从数据中得到这种结果很简单，把它们放在一块儿就能增长销量从而达到沃尔玛的目的，而去查明缘由则费事的多。

3. 相比数据分析方法而言更注重数据获取：换一种说法就是数据为先。由于如今计算机太牛逼了，因此只要咱们想到办法，它就能替咱们干相应的活。基于此，咱们要 作的就是获取更多的，更全面的数据来让计算机分析。例如国外快递公司在车上装传感器来帮助快递调度，劳斯莱斯公司在飞机发动机上装传感器并经过历史数据和 实时数据预先预测潜在故障并提早检修的例子。大数据思惟模式中，数据为咱们提供最多的可能和最大的价值，因此着重获取数据。

说了这么多， 我想说的就是数据挖掘能够归纳为：在咱们掌握的数据多了之后，把数据交给计算机分析的方法的集合。而大数据则是跳出咱们的传统数据分析和处理方法框架的一 种新思惟。一种思惟和一类技术比起来，确实是要虚不少，并且思惟要付诸实现，必然是要以技术为基础的。可是正是因为思惟方式的不一样，咱们能够从数据中得到 更多的东西，好比对以前认为没有价值的噪声和错误数据的分析，或者对现象的重视而意外发现的一些有意思的结果等等。。


所以，我我的认为，大数据是咱们在不断发展数据挖掘技术的过程当中诞生出来的一种新思惟，这种思惟的实际应用以数据挖掘技术为基础，并能够促进咱们开发出更多的数据挖掘技术。。

发布于 2014-04-264 条评论感谢

收藏没有帮助举报 做者保留权利

aiirii wong

20 人赞同

看了很多评论说只是忽悠，就好像到如今还有不少人认为云计算是虚拟化的同义词，也是忽悠同样，实际上是本身还没真正了解其内涵；
     就好像云计算是由于虚拟化技术发展的量变致使质变(虽然虚拟化不是实现云计算的必要前提)；大数据也是一样的道理是旧技术发展到必定程度致使的新产物，
    不少人还停留在大数据就是海量数据的概念（这只是其中一个特征），网上不少所谓的大数据例子，也体现不出目前大数据的明显特征，和以前的数据挖掘显示不出差异，更加让部分人觉得大数据就是数据挖掘的别名；

我我的的理解，有若干区别：
1，数据挖掘仍是基于用户假设了因果，而后进行验证；而大数据则重点在找出关联关系，A的变化会影响到B的变化幅度；
2，传统的方法只是从内部数据库数据提取，分析数据； 大数据则从更多途径，采用更多非结构化的数据；
3，处理时间上，传统的对时间要求不高； 大数据强调的是实时性，数据在线即用；
4，传统的方式，重点仍是从数据中挖掘出残值； 而大数据则是从数据中找出新的内容，创新的价值；
...

最大的区别，仍是思惟的不一样，思考方式的不一样，致使后面的方法论，工具备很大的区别；

编辑于 2015-05-153 条评论感谢

收藏没有帮助举报 做者保留权利

知乎用户，热爱Python，Data Debugger，机器学习进…

3 人赞同

数据挖掘是一门技术，是学问，更狭义一点就是对一类算法研究的总称，这些算法的共同特色是从但愿从真实世界的数据中识别出有用的pattern，进而获取新的知识，最终落实到decision making。

大数据，这个概念很是的虚，被赋予了太多的含义，缺少实质的内涵。可是“大”是他们的共性。我更倾向于将其理解为近年来兴起的一系列数据处理工具，其表明就是基于MapReduce的Hadoop。他们大多基于分布式环境，以可以处理海量数据或者实时性为卖点。

编辑于 2014-02-27添加评论感谢

收藏没有帮助举报 做者保留权利

知乎用户，答案被收藏161616次，求知道路走了1%

14 人赞同

以山西开矿的煤老板为例：

开矿的前提是有矿，包括煤矿的储藏量，储藏深度，煤的成色。

以后是挖矿，要把这些埋在地下的矿挖出来，须要挖矿工，挖矿机，运输机。

以后是加工，洗煤，炼丹，等等。

最后才是转化为银子。

数据行业十分相似：

挖掘数据的前提是有数据，包括数据的储藏量，储藏深度，数据的成色。

以后是数据挖掘，要把这些埋藏的数据挖掘出来。

以后是数据分析输出，要把这些数据可视化输出，指导分析、商业实践。

直到这一步，才创造了价值。

所谓的大数据，大约就是说如今有座正在造成的巨型矿山，快去抢占成为煤老板吧，下一个盖茨兴许将在这里诞生。

编辑于 2014-03-013 条评论感谢

收藏没有帮助举报 做者保留权利

徐晓轶，AI，儒学，https://github.com/andrewxxyi/JXPi

6 人赞同

两回事，大数据是海量数据环境下如何还能保持对某个访问会话的快速响应。数据挖掘是从大量的历史信息中总结出有用的知识。这是两个层次上的事情。
数据挖掘原则上是能够不须要大数据的，由于它对响应速度并没有要求，它看重的是挖掘出来的知识的效用。但对于海量数据环境下，若是没有大数据的相关数据快速供给能力，那么数据挖掘所消耗的计算资源可能使得其根本没法完成或成本过高。

发布于 2014-02-273 条评论感谢

收藏没有帮助举报 做者保留权利

周李，屌丝想搞数据挖掘

7 人赞同

我的以为数据挖掘是一门技术，是相对比较狭义上的一个概念。
而大数据更像一个产业，数据挖掘固然是其一个核心技术。可是，大数据与数据挖掘不一样的是，他还涉及到其余普遍的技术，其中表明的如可视化技术，数据存储和管理技术。
大数据不只仅是利用数据挖掘技术从数据中挖掘有用的信息， 他还要采起海量数据，一般要分布实时处理，最后利用要组织数据挖掘技术获得的信息，向用户直观的展现这些信息~

发布于 2014-02-28添加评论感谢

收藏没有帮助举报 做者保留权利

知乎用户，PhD candidate

6 人赞同

我对这个问题表示却是没有什么特别的见解，只是在此回忆一些我老板的话。
一、（大二的时候实验室大老板给上数据库的课，在课上发表过一些关于大数据的见解，大意是：）其实大数据并非什么新鲜的概念，很早就有了。只是最近几年又有人冷饭热炒把它翻出来，也就是在炒做。炒做好了就能够向国家汇报，申请什么天然科学基金什么。
二、 （这一段是实验室内部大老板作的一个内部报告，只把最不重要的而且在其余场合讲过的一些拿出来）大数据其实并无一个特别明确的定义，多大的数据算大数 据？这个并无一个统一的标准。20年前，几百兆的数据咱们看起来就很大；几年前咱们以为几个GB的数据算大数据；如今咱们以为几个TB的数据才能叫大数 据。大数据这个标准是在计算机计算能力发展的状况下不断变化的。（老板在报告里给出过一个我以为比较靠谱的定义，可是不知道有没有发表）
三、对于 题主的问题【大数据是否是数据挖掘的延伸？二者的类似度有多少？】，我以为二者并无什么关系。大数据带来的问题是由于愈来愈多的数据产生出来而天然引起 的一系列的在包括数据库系统、计算方法等基础问题上现有工具没法有效处理的问题；而数据挖掘则是在数据基础上进行知识发现的过程。这二者并不存在明显的谁 是谁的延伸的问题，也并无多少类似的地方。

硬要说二者有何关系的话，能够看看下面。
大数据带来的挑战主要是如今基础技术没法满 足需求。好比传统上咱们以为一个亚线性时间算法不错，但是拿到大数据上，亚线性时间也不行了，这就是数据量的增加对于整个计算机科学界提出的挑战，你说你 有一个O(log(n))的算法，那放到大数据身上也是无论用的（指的是不能分布计算的场景，能分布计算的话只要多搞几台机器（像MapReduce那 样），分散开来变成“小数据”以后也就不叫大数据了）。由此给数据挖掘带来的问题就是不少数据挖掘算法即便在传统概念上的时间复杂度很低，如今也不能知足 要求了。
【以上】

编辑于 2014-05-161 条评论感谢

收藏没有帮助举报 做者保留权利

徐申

4 人赞同

先说说我对大数据的理解。我觉得大数据有2层意思：首先是万物皆可数据化。数据化不等于数字化，数据化指的是将对象量化成可分析的数据，能够是结构化的，也能够是非结构化的。援引来自2013年4月19号《东方早报》的文章《比你更了解你——大数据时代的汽车生活》中的一段：
     再来讲一个例子，你可能永远也想不到你开车时的坐姿能够防止汽车被盗，这听起来简直难以想象，但这就是现实存在的事，日本某工业研究所经过在汽车座椅下安 装360个压力传感器来测量人对座椅各部分施加压力的方式，而且经过0-256个数值范围进行量化，这样，每一个乘坐者都将产生一份专属的数据资料，这个系 统能够根据人对座位的压力差别识别出乘坐者的身份，准确率高达98%，这项技术做为汽车防盗系统装在车上时，汽车就会知道驾驶者是否是车主，若是不是，汽 车就会自动熄火，另外也能够根据坐姿数据来判断司机是否正处于疲劳驾驶，系统能够经过自动减速或刹车来控制可能带来的危险。

我举这个例子是想说明借助今天的技术和数学统计知识，之前不能量化描述的东西今天已经能够在计算机上分析和表达，即数据化。
第二层意思是大数据的“样本即整体”。这个观点来自于舍恩伯格的《大数据时代》。之前的定量调查和分析的数据，受限于技术、资金等条件，老是从总体中抽取一部分样本，针对这些样本进行调查。可是大数据不同，大数据分析的数据是总体。
总之，大数据是一种思惟方式。
然而回到数据挖掘这个关键词上来。以前的回答已经很清楚地解释了数据挖掘，以及与大数据之间的不一样。我想强调的一点是：大数据的独特魅力在于新颖而又具备实际意义的数据挖掘，如经典的”啤酒与尿布“的案例。

编辑于 2014-03-012 条评论感谢

收藏没有帮助举报 做者保留权利

匿名用户

3 人赞同

数据挖掘=大数据+机器学习

发布于 2015-01-19添加评论感谢

收藏没有帮助举报 做者保留权利

知乎用户，运筹学博士 / 在美国从事保险数据挖掘

2 人赞同

今天开会老板对大数据的总结十分精彩：大数据就像“teenage-sex”，全部人都在谈论这个，全部人都觉得别人在作这个，因此全部人都声称本身也在作这个。。。

--------------------------------------------------------------------------------------------------------------------
在我看来大数据是一种属性，而数据挖掘是方法，或者说是方法的集合。

我 认为数据挖掘就是指从单纯无序杂乱的数据里面提取出有用的信息，首先要规范化数据，而后根据想要回答的问题选择相应的方法，能够创建模型预测将来，也能够 对当前数据聚类等等。也能够是单纯的从数据中找寻规律，并不必定要回答特定的问题。因此我以为用excel做pivot table也是一种数据挖掘。

而 大数据就是指数据的特性，顾名思义就是大。海量数据会形成不少问题，首先计算量就是一个问题，最简单的我的电脑的内存在数据量达到百万行的时候基本上就捉 襟见肘了，读入就成问题，更谈不上计算了，固然计算速度就是附带的问题。而后就是选择的问题了，以往都是数据量太少，要预测一个量巴不得把能收集到的其余 量都用上，如今是数据量太大，想象一下1000多个不一样的量预测一个量的模型你能信任吗，即便真的相信了这样的模型，要很难利用这样的模型给出合适的建 议。第三个大数据特色就是实时更新，由于天天均可以产生大量数据，昨天的模型须要用今天的模型验证，而后修正，这就是一个不断更正的过程。

我不以为大数据全是炒做出来的噱头，什么都数字化的今天，数据的处理方法上仍是有一些特别的地方的。不过数据仍是数据，处理的核心仍是不会变的。

编辑于 2014-09-09添加评论感谢

收藏没有帮助举报 做者保留权利

知乎用户，数据分析，数据挖掘新手

2 人赞同

新手一枚，简单述说一下个人观点，大数据和数据挖掘的关系
1.首先，数据挖掘是一种工具，而且由来已久，不是什么新鲜东西；而大数据是新近几年才出现的概念，主要强调了全景数据，全量数据，其中大部分是非结构化数据或半结构化数据（咱们通常说的数据基本上都是结构化数据）
2.其次，数据挖掘属于数据分析的一个工具，而数据分析是探索大数据规律的方法，由此可知，某种程度上能够说数据挖掘是大数据分析的一个工具。

而且从维基百科上咱们能够发现
数据挖掘有如下这些不一样的定义：
              “从数据中提取出隐含的过去未知的有价值的潜在信息”
              “一门从大量数据或者数据库中提取有用信息的科学。”

说 到数据挖掘，应该说说知识发现（KDD）， 数据挖掘与KDD的关系是：KDD是从数据中辨别有效的、新颖的、潜在有用的、最终可理解的模式的过程；而数据挖掘是KDD经过特定的算法在可接受的计算 效率限制内生成特定模式的一个步骤。现在的各类文献资料中，这两个术语常常不加区分的使用，数据挖掘（DM）=知识发现（KDD），而且商业领域通常说数 据挖掘，而学术领域就说KDD。

 大数据指的是所涉及的数据量规模巨大到没法经过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息，数据挖掘（data mining）则是在探讨用以解析大数据的方法。

3.举例说明，Google 流感趋势

咱们发现，某些搜索字词很是有助于了解流感疫情。Google 流感趋势会根据汇总的 Google 搜索数据，近乎实时地对全球当前的流感疫情进行估测。

【全 球每星期会有数以百万计的用户在网上搜索健康信息。正如您所预料的那样，在流感季节，与流感有关的搜索会明显增多；到了过敏季节，与过敏有关的搜索会显著 上升；而到了夏季，与晒伤有关的搜索又会大幅增长。全部这些现象都可经过 Google 搜索解析进行研究。 可是，搜索查询趋势可否为实际现象创建一个准确可靠的模式而提供依据呢？

咱们发现，搜索流感相关主题的人数与实际患有流感症状的人数之间存 在着密切的关系。固然，并不是每一个搜索“流感”的人都真的患有流感，但当咱们将与流感有关的搜索查询汇总到一块儿时，即可以找到一种模式。咱们将本身统计的查 询数量与传统流感监测系统的数据进行了对比，结果发现许多搜索查询在流感季节确实会明显增多。经过对这些搜索查询的出现次数进行统计，咱们即可以估测出世 界上不一样国家和地区的流感传播状况。】本文已经发表在美国《天然》杂志上http://static.googleusercontent.com/media/research.google.com/zh-CN//archive/papers/detecting-influenza-epidemics.pdf

（1）这个简单的例子说明，谷歌利用计算机数据挖掘相关工具挖掘搜索引擎的记录（所有流感记录），找出数据背后的规律，即流感趋势，这里流感记录就是全量数据，不是随机抽样的，这是区别于以前（2010年以前）的数据分析的最大区别。

（2） 理想中大数据主要是非结构化或半结构化数据，而这里谷歌的记录数据仍然是结构化数据，所以大数据是一个处在不断发展、更新的概念，固然数据挖掘工具也处在 不断升级完善中，理想中的数据挖掘工具应该能够处理全量数据、即时数据、多类型数据、·····总之，大数据和数据挖掘都在不断变化发展中，咱们常人都是 根据历史数据来理解大数据和数据挖掘，固然有一个万变不离其宗的东西就是基于应用统计学的分析方法。

以上就是鄙人的愚见，但愿你们能够多加讨论，集思广益来理解大数据和数据挖掘

发布于 2014-03-03添加评论感谢

收藏没有帮助举报 做者保留权利

何栋栋，哼哼哈嘿

1 人赞同

简单来讲，数据挖掘应该比大数据出现得早。人们在进行生产（商业也算哦）的过程当中会发现有一些数据，这些数据伴随着生产过程产生，必然包含着一些规律，人 们就想用一些方法把枯燥数据里的秘密挖掘出来，因而动用统计啊计算啊机器学习之类的方法（方法不重要，能挖出秘密重要），把这个过程叫作数据挖掘；而大数 据，只是泛泛而谈罢了，大体指的是海量数据，是个大概念，不具体。

发布于 2014-03-10添加评论感谢

收藏没有帮助举报 做者保留权利

地主，地主老爷

1 人赞同

大数据能够理解为一个技术手段、平台、工具或者是一种思想
而数据挖掘是工做目标，在没有大数据概念以前，数据挖掘能够用关系型数据库、分析型数据库等等，如今只不过多了一个选择，并且是一个很好用的技术手段。

发布于 2014-12-08添加评论感谢

收藏没有帮助举报 做者保留权利

杨学晨，我在故我知乎

1 人赞同

挖掘——明显的低端体力劳动，不值一提
大（海量）——绝对的高精尖科技，不明觉厉

一样的啤酒，一样的尿布，码农写下了朴素的本质，资本家吹出了高大上的蓝图。

• 媒体与大众的视角

从 媒体的宣传来看，彻底是借用了“大数据”这一名词向大众灌输了“数据挖掘”在商业活动和社会生活中的潜藏的巨大做用。不管是早已威名远播的“啤酒与尿 布”，仍是新鲜出炉的“纸牌屋”，无不是对数据挖掘的商业价值的完美诠释。正如开篇所言，“大数据”无疑比“数据挖掘”更具备吸引眼球的潜质。对于普通大 众而言，让他们知道海量数据如何存储和处理并不重要，重要的是告诉他们数据的背后存在着价值。因而乎，“大数据”成为了“数据挖掘”的代名词，经过媒体狂 轰滥炸地宣传成功上位，成为某些利益集团用于概念炒做的工具。

• 专业的视角

正如 @张伟棋 引用的定义所言，大数据概念强调了在对于具备数据容量大、产生速度快、数据类型杂的特色的数据的处理，包含了与之相关的存储、计算等方面的技术。数据挖掘 的发展过程当中，不断追求着从更多来源得到更大数据量并进行更高效地分析，以期得到更全面、更准确、更及时的结果。我认为，大数据概念的提出是数据挖掘技术 发展和应用带来的必然结果，是对数据挖掘发展中遇到的海量数据相关问题的提炼和总结，并由此造成的对立的相关概念。

编辑于 2014-03-01添加评论感谢

收藏没有帮助举报 做者保留权利

旺仔面，咨询顾问，业余摄影师

简单粗暴地讲，大数据是海洋，大数据中的信息则是鱼，而“数据挖掘”就是捕鱼的网。若是把 “大数据” 狭义地理解为一类数据源，那么，“数据挖掘” 就是用来驾驭 “大数据” 的重要手段之一。

因为大数据是一类复杂的、不友好的数据源，用传统的方法每每难以驾驭，为了可以有效利用大数据，人们就逐渐发明出一套系统的方法工具，来对大数据进行收集、存储、抽取、转化、加载、清洗、分析、挖掘和应用，而 “数据挖掘 Data mining” 就是对各类挖掘工具方法的统称。

须要注意的是，大数据源一般不能直接进行数据挖掘，还须要耗费大量工做量进行预处理。固然，完成了数据挖掘尚未结束，还须要对挖掘结果进行业务应用，才能创造价值。就比如有一座铁矿山，得先从矿山中开采出品质达标的铁矿石（预处理过程，数据清洗、集成、变换和规约），才能送到炼钢厂冶炼为钢材（挖掘过程），最终钢材还要用到建筑工地上（应用过程）。

-- -- -- -- -- -- -- -- -- -- 首先来看什么是“大数据” -- -- -- -- -- -- -- -- -- --

1.大数据是具有3V特征（Volume 大致量、Variety 复杂多样、Velocity 高速时效)的数据源。大众很容易理解 Volume，互联网公司、运营商和金融机构的数据量动辄以TB计，却每每会忽视 Variety 和 Velocity。

Variety 是指大数据来源丰富、形态多样，常见的大数据就包括电商用户数据、文本数据、社交网络数据、车载信息服务数据、时间和位置数据、RFID数据、智能电网数据、设备传感器数据等等。

Velocity 是指大数据一边高速海量生成，同时数据的分析和应用也实时完成，好比，网络广告程序化购买、互联网金融实时授信，都涉及到实时处理海量数据的技术。

2. 大数据也是一个相对的概念，目前的“小数据”，曾经也是“大数据”。好比ERP、CRM里导出的数据，如今用excel就能轻松驾驭，但在几十年前，放在当时的技术条件下，这样的数据又未尝不是大致量、多样、高速的 "大数据"。目前的“大数据”，随着技术发展，将来也会成为可以轻松驾驭的“小数据”。

3. 大数据一般都是机器自动生成的，例如物联网中传感器自动生成环境数据。而传统数据的生成每每涉及人工因素，例如零售交易、电话呼叫等等。

4. 大数据每每不是 “结构化” 的，所以难以驾驭。收集传统数据源的交易系统一般会以整洁的、预先规范好的模板方式来生成数据，以确保数据容易被加载和使用。而大数据源在最开始一般不会被严格地定义，而是去收集全部可能使用到的信息。

• 常见的财务报表就是典型的 “结构化” 数据，表头明确了数据的类别、科目，整洁规范。
  

• 网络日志则是“半结构化”数据的表明，看起来乱七八糟，彻底谈不上整洁规范，但其中每一条信息却都有特定用处。
  

• 而文本，诸如博客文章、论坛评论则是 “非结构化” 数据，必须耗费大量精力进行转化和清洗，才能进行分析和利用。

5. 不少数据可能就是垃圾，并不蕴含大量价值。事实上，大部分数据甚至毫无价值。一篇网页日志中会含有很是重要的数据，但其中也包含了不少根本没有价值的数据。对其进行提炼，从而保留有价值的部分是很是必要的。

-- -- -- -- -- -- -- -- -- -- 再来看什么是“数据挖掘” -- -- -- -- -- -- -- -- -- --

既然大数据一般是 “大致量、发杂多样、高速实时”，并且不是 “结构化” 的，这就引出一个问题，如何驾驭大数据？

前面提到，人们发明出包括数据收集、存储、抽取、转化、加载、清洗、分析、挖掘和应用的方法用以驾驭大数据，而 “数据挖掘 Data mining” 就是对各类挖掘工具方法的统称。

要理解 “数据挖掘” ，能够和 “数据分析” 作个简单比较

• 数据分析的分析目标每每比较明确，分析条件也比较清楚，基本上就是采用统计方法，对数据进行多维度地描述；
  

• 数据挖掘的目标却不是很清晰，要依靠挖掘算法来找出隐藏在大量数据中的规律和模式，也就是从数据中提取出隐含的、未知的有价值的信息。
  

在实践中，数据挖掘通常划分为 “分类”、“聚类”、“关联” 和 “序列” 等几大常见问题，针对每一类问题，又有专门的挖掘算法来处理。例如，用户流失预警模型、促销活动响应模型都用于预测用户某个行为的发生几率，属于 “分类” 问题，能够用决策树算法、逻辑回归算法、多元线性回归、神经网络算法来处理。

想了解大数据的朋友能够看看《驾驭大数据》（Bill Franks 著、黄海译、人民邮电出版社），是入门书籍里比较系统的，很适合帮助本身对大数据造成一个基本认知框架。