Hadoop究竟是什么？ 到底能作什么？

调研Hadoop颇久，就是想知道hadoop是什么？hadoop能作什么？怎么用hadoop？最主要是这三块，至于投入和风险也会随之出来（浓缩了我几十页的调研方案啊！！！）

1. hadoop是什么？
   
   Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源能够是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具备更灵活的 处理能力，无论任何数据形式最终会转化为key/value，key/value是基本数据单元。用函数式变成Mapreduce代替SQL，SQL是查 询语句，而Mapreduce则是使用脚本和代码，而对于适用于关系型数据库，习惯SQL的Hadoop有开源工具hive代替。
   
   

2. hadoop能作什么？
   
   hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行 数据分析；淘宝搜索中的自定义筛选也使用的Hive；利用Pig还能够作高级的数据处理，包括Twitter、LinkedIn 上用于发现您可能认识的人，能够实现相似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop做业是用 pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。（2012年8月25新更新，天猫的推荐系统是hive，少许尝试mahout！）
   
   

3. hadoop能为我司作什么？
   零数据基础，零数据平台，一切起点都是0。

• 日志处理

• 用户细分特征建模

• 个性化广告推荐

• 智能仪器推荐

 

 一切以增长企业的商业价值为核心目的、最终目的

  4.怎么用hadoop？

• hadoop的应用的在我司还属于研发型项目，拟用日志的分析来走通一次流程，由于此阶段目前来讲还不须要数据挖掘的专业人员，在数据分析阶段便可，而系 统有数据库工程师，Mapreduce有java开发工程师，而分析由我本人介入，而可视化暂时可由前端JS实现，原本个人调研方案，针对大数据的解决方 案是hadoop+R的，可是对于R咱们是彻底不懂，在公司尚未大量投入人员的状况下，只有日志分析目前看来是最容易出成果的，也是能够经过较少人员能 出必定成果的，因此选取了这个方向做为试点。
  
  首先要进行数据的存储，一是要协调上游的服务厂商，关于日志的抓取，二是hadoop系统的搭建，目前已经在紧张的筹备中了。