如何从0开始学习大数据挖掘分析？

最近有不少人咨询，想学习大数据，但不知道怎么入手，从哪里开始学习，须要学习哪些东西？对于一个初学者，学习大数据挖掘分析的思路逻辑是什么？本文就梳理了如何从0开始学习大数据挖掘分析，学习的步骤思路，能够给你们一个学习的建议。

不少人认为数据挖掘须要掌握复杂高深的算法，须要掌握技术开发，才能把数据挖掘分析作好，实际上并不是这样。若是钻入复杂算法和技术开发，只能让你走火入魔，越走越费劲，而且效果不大。在公司实际工做中，最好的大数据挖掘工程师必定是最熟悉和理解业务的人。对于大数据挖掘的学习心得，做者认为学习数据挖掘必定要结合实际业务背景、案例背景来学习，这样才是以解决问题为导向的学习方法。那么，大致上，大数据挖掘分析经典案例有如下几种：

1. 预测产品将来一段时间用户是否会流失，流失状况怎么样；
2. 公司作了某个促销活动，预估活动效果怎么样，用户接受度如何；
3. 评估用户信用度好坏；
4. 对现有客户市场进行细分，到底哪些客户才是目标客群；
5. 产品上线投放市场后，用户转化率如何，到底哪些运营策略最有效；
6. 运营作了不少工做，公司资源也投了不少，怎么提高产品投入产出比；
7. 一些用户购买了不少商品后，哪些商品同时被购买的概率高；
8. 预测产品将来一年的销量及收益。。。。

大数据挖掘要作的就是把上述相似的商业运营问题转化为数据挖掘问题。

1、如何将商业运营问题转化为大数据挖掘问题

那么，问题来了，咱们该如何把上述的商业运营问题转化为数据挖掘问题?能够对数据挖掘问题进行细分，分为四类问题：分类问题、聚类问题、关联问题、预测问题。

一、分类问题

用户流失率、促销活动响应、评估用户度都属于数据挖掘的分类问题，咱们须要掌握分类的特色，知道什么是有监督学习，掌握常见的分类方法:决策树、贝叶斯、KNN、支持向量机、神经网络和逻辑回归等。

二、聚类问题

细分市场、细分客户群体都属于数据挖掘的聚类问题，咱们要掌握聚类特色，知道无监督学习，了解常见的聚类算法，例如划分聚类、层次聚类、密度聚类、网格聚类、基于模型聚类等。

三、关联问题

交叉销售问题等属于关联问题，关联分析也叫购物篮分析，咱们要掌握常见的关联分析算法：Aprior算法、Carma算法，序列算法等。

四、预测问题

咱们要掌握简单线性回归分析、多重线性回归分析、时间序列等。

2、用何种工具实操大数据挖掘

能实现数据挖掘的工具和途径实在太多，SPSS、SAS、Python、R等等均可以，可是咱们须要掌握哪一个或者说要掌握哪几个，才算学会了数据挖掘?这须要看你所处的层次和想要进阶的路径是怎样的。

第一层级：达到理解入门层次

了解统计学和数据库便可。

第二层级：达到初级职场应用层次

数据库+统计学+SPSS(也能够是SPSS代替软件)

第三层级：达到中级职场应用层次

SAS或R

第四层级：达到数据挖掘师层次

SAS或R+Python(或其余编程语言)

3、如何利用Python学习大数据挖掘

只要能解决实际问题，用什么工具来学习数据挖掘都是无所谓，这里首推Python。那该如何利用Python来学习数据挖掘？须要掌握Python中的哪些知识?

一、Pandas库的操做

Panda是数据分析特别重要的一个库，咱们要掌握如下三点：

• pandas 分组计算;
• pandas 索引与多重索引;

索引比较难，可是倒是很是重要的

• pandas 多表操做与数据透视表

二、numpy数值计算

numpy数据计算主要应用是在数据挖掘，对于之后的机器学习，深度学习，这也是一个必须掌握的库，咱们要掌握如下内容：

• Numpy array理解；
• 数组索引操做；
• 数组计算；
• Broadcasting(线性代数里面的知识)

三、数据可视化-matplotlib与seaborn

• Matplotib语法

python最基本的可视化工具就是matplotlib。咋一看Matplotlib与matlib有点像，要搞清楚两者的关系是什么，这样学习起来才会比较轻松。

• seaborn的使用

seaborn是一个很是漂亮的可视化工具。

• pandas绘图功能

前面说过pandas是作数据分析的，但它也提供了一些绘图的API。

四、数据挖掘入门

这部分是最难也是最有意思的一部分，要掌握如下几个部分：

• 机器学习的定义

在这里跟数据挖掘先不作区别

• 代价函数的定义
• Train/Test/Validate
• Overfitting的定义与避免方法

五、数据挖掘算法

数据挖掘发展到如今，算法已经很是多，下面只需掌握最简单的，最核心的，最经常使用的算法：

• 最小二乘算法；
• 梯度降低；
• 向量化；
• 极大似然估计；
• Logistic Regression；
• Decision Tree；
• RandomForesr；
• XGBoost；

六、数据挖掘实战

经过机器学习里面最著名的库scikit-learn来进行模型的理解。

以上，就是为你们理清的大数据挖掘学习思路逻辑。但是，这还仅仅是开始，在通往数据挖掘师与数据科学家路上，还要学习文本处理与天然语言知识、Linux与Spark的知识、深度学习知识等等，咱们要保持持续的兴趣来学习数据挖掘。