[Hadoop] 实际应用场景之 - 阿里

Hadoop在淘宝和支付宝的应用从09年开始,用于对海量数据的离线处理,例如对日志的分析,也涉及内容部分,结构化数据等。使用Hadoop主要基于可扩展性的考虑,规模从当初的3-4百节点增长到今天单一集群3000节点以上,2-3个集群,支付宝的集群规模也达700台,使用Hbase,个人消费记录,key-value型。 阿里对Hadoop的源码做了如下修改: 改进Namenode单点问题 增加安全性
相关文章
相关标签/搜索