大数据工具千千万，到底谁才是最强王者？

外面有成千上万的大数据工具。它们都承诺能够为你节省时间和资金，并帮助发掘以前历来见过的业务洞察力。虽然确实如此，但是面对那么多的选择，想理清这么多的工具谈何容易。

哪种工具适合你的技能组合?哪种工具适合你的项目?

为了替你节省一点时间，并帮助你首次选对工具，咱们列出了咱们青睐的几款数据工具，涉及数据提取、存储、清理、挖掘、可视化、分析和整合等领域。

数据存储和管理

若是你准备处理大数据，就要考虑该如何存储大数据。大数据获得“大”这个名号，一方面在于，大数据太庞大了，传统系统处理不了。一家优秀的数据存储提供商应该能够为你提供一套基础设施，除了用来存储和查询数据外，你还能够在上面运行其余全部分析工具。

Hadoop

Hadoop这个名称已成为了大数据的代名词。它是一种开源软件框架，用于在计算机集群上分布式存储很是庞大的数据集。这一切意味着你能够扩大或缩小数据规模，不必为硬件故障而担忧。Hadoop为任何一种数据提供了海量存储空间、强大的处理能力以及处理几乎无限制的并发任务或做业这一功能。

Hadoop并不适合数据初学者。想真正发挥其功能，你其实须要知道Java。这可能须要一番投入，可是Hadoop无疑值得你付出努力――由于其余许多公司和技术运行在它的基础上或者与它整合起来。

Cloudera

说到Cloudera，它实际上是Hadoop的一个品牌名，上面添加了一些额外服务。它能够帮助贵公司构建一个企业数据枢纽，让贵企业的人员能够更方便地访问所存储的数据。

虽然确实有开源组件，但Cloudera主要仍是一款企业解决方案，帮助公司管理Hadoop生态系统。实际上，它能够替你处理管理Hadoop的大量繁重工做。它还提供了必定级别的数据安全性，若是你要存储任何敏感数据或私人数据，这相当重要。

MongoDB

MongoDB是新颖的现代数据库方法，可谓是后起之秀。它比如是关系数据库的替代技术。它适用于管理常常变化的数据或者非结构化或半结构化数据。

常见的使用场合包括：为移动应用程序、产品目录、实时个性化、内容管理以及跨多个系统提供单一视图的应用程序存储数据。MongoDB一样不适合数据新手。与任何数据库同样，你确实须要了解如何使用一种编程语言来查询它。

Talend

Talend是另外一家出色的开源公司，它提供许多数据产品。咱们在这里主要介绍其主数据管理(MDM)产品，该产品将实时数据、应用程序和流程整合与嵌入式数据质量及监管结合起来。

因为是开源产品，Talend彻底免费，于是是个不错的选择，不管贵公司处于哪一个发展阶段。并且，它让你不必构建和维护本身的数据管理系统――这是一项很是复杂而困难的任务。

开始入门

若是你对大数据彻底一无所知，数据库可能不是最适合入手的方面。它们比较复杂，确实须要具有必定的编程知识才能上手(这不像下面提到的其余许多工具)。然而，若是你确实想要从事或处理大数据，那知道数据库的基本知识、聊起数据库头头是道必不可少。你能够全面了解推进大数据的技术，包括数据库和存储发展史、关系数据库和文档数据库的区别、大数据的挑战以及必不可少的工具，还有Hadoop简要介绍。

数据清理

在你真正挖掘数据、获取洞察力以前，须要清理数据。尽管建立一个整洁、结构清晰的数据集老是好作法，但有时这并不是始终行得通。数据集可能形状和大小不一(有些好的，有些不太好!)，尤为是你从网上获取数据时。下列公司能够帮助你完善和重组数据，处理成实用的数据集。

OpenRefine

OpenRefine(之前叫GoogleRefine)是一种开源工具，专门用于清理凌乱的数据。你能够轻松快速地浏览庞大的数据集，即使数据有点非结构化。就数据软件而言，OpenRefine很易于使用。不过，熟悉数据清理原则确定有所帮助。OpenRefine好就好在，它有一个庞大社区，拥有众多贡献者，这意味着这款软件在不断变得完善。要是遇到了难题，你能够向社区提问。能够查看其Github代码库。

DataCleaner

DataCleaner认识到数据处理是一项冗长乏味的任务。数据可视化工具只能读取结构条理化、“干净”的数据集。DataCleaner能够替你干脏活，将凌乱的半结构化数据集转换成干净的、可读取的数据集，那样全部可视化公司都能读取。

为了帮助你们让学习变得轻松、高效，给你们免费分享一大批资料，帮助你们在成为大数据工程师，乃至架构师的路上披荆斩棘。在这里给你们推荐一个大数据学习交流圈：658558542 欢迎你们进群交流讨论，学习交流，共同进步。

当真正开始学习的时候不免不知道从哪入手，致使效率低下影响继续学习的信心。

但最重要的是不知道哪些技术须要重点掌握，学习时频繁踩坑，最终浪费大量时间，因此有有效资源仍是颇有必要的。

最后祝福全部遇到瓶疾且不知道怎么办的大数据程序员们，祝福你们在日后的工做与面试中一切顺利。