Data - 大数据分析学习之路

1、大数据分析的五个基本方面

1. 可视化分析
   大数据分析的使用者有大数据分析专家，同时还有普通用户，可是他们两者对于大数据分析最基本的要求就是可视化分析，由于可视化分析可以直观的呈现大数据特色，同时可以很是容易被读者所接受，就如同看图说话同样简单明了。

2. 数据挖掘算法
   大数据分析的理论核心就是数据挖掘算法，各类数据挖掘的算法基于不一样的数据类型和格式才能更加科学的呈现出数据自己具有的特色，也正是由于这些被全世界统计学家所公认的各类统计方法（能够称之为真理）才能深刻数据内部，挖掘出公认的价值。
   另一个方面也是由于有这些数据挖掘的算法才能更快速的处理大数据，若是一个算法得花上好几年才能得出结论，那大数据的价值也就无从提及了。

3. 预测性分析能力
   大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特色，经过科学的创建模型，以后即可以经过模型带入新的数据，从而预测将来的数据。

4. 语义引擎
   大数据分析普遍应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其余输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

5. 数据质量和数据管理
   大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，不管是在学术研究仍是在商业应用领域，都可以保证分析结果的真实和有价值。
   大数据分析的基础就是以上五个方面，固然更加深刻大数据分析的话，还有不少不少更加有特色的、更加深刻的、更加专业的大数据分析方法。

2、如何选择适合的数据分析工具

要明白分析什么数据，大数据要分析的数据类型主要有四大类：

1. 交易数据（TRANSACTION DATA）
   大数据平台可以获取时间跨度更大、更海量的结构化交易数据，这样就能够对更普遍的交易数据类型进行分析，不只仅包括POS或电子商务购物数据，还包括行为交易数据，例如Web服务器记录的互联网点击流数据日志。

2. 人为数据（HUMAN-GENERATED DATA）
   非结构数据普遍存在于电子邮件、文档、图片、音频、视频，以及经过博客、维基，尤为是社交媒体产生的数据流。
   这些数据为使用文本分析功能进行分析提供了丰富的数据源泉。

3. 移动数据（MOBILE DATA）
   可以上网的智能手机和平板愈来愈广泛。
   这些移动设备上的App都可以追踪和沟通无数事件，从App内的交易数据（如搜索产品的记录事件）到我的信息资料或状态报告事件（如地点变动即报告一个新的地理编码）。

4. 机器和传感器数据（MACHINE AND SENSOR DATA）
   这包括功能设备建立或生成的数据，例如智能电表、智能温度控制器、工厂机器和链接互联网的家用电器。
   这些设备能够配置为与互联网络中的其余节点通讯，还能够自动向中央服务器传输数据，这样就能够对数据进行分析。
   机器和传感器数据是来自新兴的物联网（IoT）所产生的主要例子。
   来自物联网的数据能够用于构建分析模型，连续监测预测性行为（如当传感器值表示有问题时进行识别），提供规定的指令（如警示技术人员在真正出问题以前检查设备）。

3、如何区分数据科学家、数据工程师、数据分析师

随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了不少机会。
数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。
它们是如何定义的？具体是作什么工做的？须要哪些技能？让咱们一块儿来看看吧。

数据科学家

数据科学家倾向于用探索数据的方式来看待周围的世界。
把大量散乱的数据变成结构化的可供分析的数据，还要找出丰富的数据源，整合其余可能不完整的数据源，并清理成结果数据集。
新的竞争环境中，挑战不断地变化，新数据不断地流入，数据科学家须要帮助决策者穿梭于各类分析，从临时数据分析到持续的数据交互分析。
当他们有所发现，便交流他们的发现，建议新的业务方向。
他们颇有创造力的展现视觉化的信息，也让找到的模式清晰而有说服力。
把蕴含在数据中的规律建议给Boss，从而影响产品，流程和决策。

数据工程师

分析历史、预测将来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。
经过这三个工做方向，他们帮助企业作出更好的商业决策。
大数据工程师一个很重要的工做，就是经过分析数据来找出过去事件的特征。
经过引入关键因素，大数据工程师能够预测将来的消费趋势。
在阿里妈妈的营销平台上，工程师正试图经过引入气象数据来帮助淘宝卖家作生意。
好比今年夏天不热，极可能某些产品就没有去年畅销，除了空调、电扇，背心、游泳衣等均可能会受其影响。
那么咱们就会创建气象数据和销售数据之间的关系，找到与之相关的品类，提早警示卖家周转库存。
根据不一样企业的业务性质，大数据工程师能够经过数据分析来达到不一样的目的。

数据分析师

与传统的数据分析师相比，互联网时代的数据分析师面临的不是数据匮乏，而是数据过剩。
所以，互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理。更为重要的是，互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破。
就行业而言，数据分析师的价值与此相似。就新闻出版行业而言，不管在任什么时候代，媒体运营者可否准确、详细和及时地了解受众情况和变化趋势，都是媒体成败的关键。
此外，对于新闻出版等内容产业来讲，更为关键的是，数据分析师能够发挥内容消费者数据分析的职能，这是支撑新闻出版机构改善客户服务的关键职能。

想要从事这3个职业须要掌握什么技能？

数据科学家须要掌握的技能

1. 计算机科学
   　 通常来讲，数据科学家大多要求具有编程、计算机科学相关的专业背景。简单来讲，就是对处理大数据所必需的hadoop、Mahout等大规模并行处理技术与机器学习相关的技能。

2. 数学、统计、数据挖掘等
   除了数学、统计方面的素养以外，还须要具有使用SPSS、SAS等主流统计分析软件的技能。
   其中，面向统计分析的开源编程语言及其运行环境“R”最近备受瞩目。R的强项不只在于其包含了丰富的统计分析库，并且具有将结果进行可视化的高品质图表生成功能，并能够经过简单的命令来运行。
   此外，它还具有称为CRAN(The Comprehensive R Archive Network)的包扩展机制，经过导入扩展包就可使用标准状态下所不支持的函数和数据集。

3. 数据可视化(Visualization)
   　 信息的质量很大程度上依赖于其表达方式。
   对数字罗列所组成的数据中所包含的意义进行分析，开发Web原型，使用外部API将图表、地图、Dashboard等其余服务统一块儿来，从而使分析结果可视化，这是对于数据科学家来讲十分重要的技能之一。

数据工程师须要掌握的技能

1. 数学及统计学相关的背景
   对于大数据工程师的要求都是但愿是统计学和数学背景的硕士或博士学历。
   缺少理论背景的数据工做者，更容易进入一个技能上的危险区域（Danger Zone）—一堆数字，按照不一样的数据模型和算法总能捯饬出一些结果来，但若是你不知道那表明什么，就并非真正有意义的结果，而且那样的结果还容易误导你。
   只有具有必定的理论知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。

2. 计算机编码能力
   实际开发能力和大规模的数据处理能力是做为大数据工程师的一些必备要素。由于许多数据的价值来自于挖掘的过程，你必须亲自动手才能发现金子的价值。
   举例来讲，如今人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就须要大数据工程师亲自挖掘。
   即便在某些团队中，大数据工程师的职责以商业分析为主，但也要熟悉计算机处理大数据的方式。

3. 对特定应用领域或行业的知识
   大数据工程师这个角色很重要的一点是，不能脱离市场，由于大数据只有和特定领域的应用结合起来才能产生价值。
   因此，在某个或多个垂直行业的经历能为应聘者积累对行业的认知，对于以后成为大数据工程师有很大帮助，所以这也是应聘这个岗位时较有说服力的加分项。

数据分析师须要掌握的技能

1. 懂业务。从事数据分析工做的前提就会须要懂业务，即熟悉行业知识、公司业务及流程，最好有本身独到的看法，若脱离行业认知和公司业务背景，分析的结果只会是脱了线的风筝，没有太大的使用价值。
2. 懂管理。一方面是搭建数据分析框架的要求，好比肯定分析思路就须要用到营销、管理等理论知识来指导，若是不熟悉管理理论，就很难搭建数据分析的框架，后续的数据分析也很难进行。另外一方面的做用是针对数据分析结论提出有指导意义的分析建议。
3. 懂分析。指掌握数据分析基本原理与一些有效的数据分析方法，并能灵活运用到实践工做中，以便有效的开展数据分析。
   基本的分析方法有：对比分析法、分组分析法、交叉分析法、结构分析法、漏斗图分析法、综合评价分析法、因素分析法、矩阵关联分析法等。
   高级的分析方法有：相关分析法、回归分析法、聚类分析法、判别分析法、主成分分析法、因子分析法、对应分析法、时间序列等。
4. 懂工具。指掌握数据分析相关的经常使用工具。数据分析方法是理论，而数据分析工具就是实现数据分析方法理论的工具，面对愈来愈庞大的数据，咱们不能依靠计算器进行分析，必须依靠强大的数据分析工具帮咱们完成数据分析工做。
5. 懂设计。懂设计是指运用图表有效表达数据分析师的分析观点，使分析结果一目了然。图表的设计是门大学问，如图形的选择、版式的设计、颜色的搭配等等，都须要掌握必定的设计原则。

4、从菜鸟成为数据科学家的9步养成方案

首先，各个公司对数据科学家的定义各不相同，当前尚未统一的定义。
但在通常状况下，一个数据科学家结合了软件工程师与统计学家的技能，而且在他或者她但愿工做的领域投入了大量行业知识。
大约90%的数据科学家至少有大学教育经历，甚至到博士以及得到博士学位，固然，他们得到的学位的领域很是普遍。
一些招聘者甚至发现人文专业的人们有所需的创造力，他们能教别人一些关键技能。
所以，排除一个数据科学的学位计划(世界各地的著名大学雨后春笋般的出现着)，你须要采起什么措施，成为一个数据科学家?

1. 复习你的数学和统计技能。一个好的数据科学家必须可以理解数据告诉你的内容，作到这一点，你必须有扎实的基本线性代数，对算法和统计技能的理解。在某些特定场合可能须要高等数学，但这是一个好的开始场合。
2. 了解机器学习的概念。机器学习是下一个新兴词，却和大数据有着千丝万缕的联系。机器学习使用人工智能算法将数据转化为价值，而且无需显式编程。
3. 学习代码。数据科学家必须知道如何调整代码，以便告诉计算机如何分析数据。从一个开放源码的语言如python那里开始吧。
4. 了解数据库、数据池及分布式存储。数据存储在数据库、数据池或整个分布式网络中。以及如何建设这些数据的存储库取决于你如何访问、使用、并分析这些数据。若是当你建设你的数据存储时没有总体架构或者超前规划，那后续对你的影响将十分深远。
5. 学习数据修改和数据清洗技术。数据修改是将原始数据到另外一种更容易访问和分析的格式。数据清理有助于消除重复和“坏”数据。二者都是数据科学家工具箱中的必备工具。
6. 了解良好的数据可视化和报告的基本知识。你没必要成为一个平面设计师，但你确实须要深谙如何建立数据报告，便于外行的人好比你的经理或CEO能够理解。
7. 添加更多的工具到您的工具箱。一旦你掌握了以上技巧，是时候扩大你的数据科学工具箱了，包括Hadoop、R语言和Spark。这些工具的使用经验和知识将让你处于大量数据科学求职者之上。
8. 练习。
   在你在新的领域有一个工做以前，你如何练习成为数据科学家?使用开源代码开发一个你喜欢的项目、参加比赛、成为网络工做数据科学家、参加训练营、志愿者或实习生。
   最好的数据科学家在数据领域将拥有经验和直觉，可以展现本身的做品，以成为应聘者。
9. 成为社区的一员。跟着同行业中的思想领袖，阅读行业博客和网站，参与，提出问题，并随时了解时事新闻和理论。