Hadoop应用开发实战(flume应用开发、搜索引擎算法、Pipes、集群、PageRank算法)

Hadoop是2013年最热门的技术之一，经过北风网robby老师<深刻浅出Hadoop实战开发>、<Hadoop应用开发实战>两套课程的学习，普通Java开发人员能够在最快的时间内提高工资超过15000.成为一位彻底精通Hadoop应用开发的高端人才。

 

Hadoop是什么，为何要学习Hadoop?

    Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户能够在不了解分布式底层细节的状况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特色，而且设计用来部署在低廉的（low-cost）硬件上。并且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样能够流的形式访问（streaming access）文件系统中的数据。
   Hadoop 是一个可以对大量数据进行分布式处理的软件框架。可是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，由于它假设计算元素和存储会失败，所以它维护多个工做数据副本，确保可以针对失败的节点从新分布处理。Hadoop 是高效的，由于它以并行的方式工做，经过并行处理加快处理速度。Hadoop 仍是可伸缩的，可以处理 PB 级数据。此外，Hadoop 依赖于社区服务器，所以它的成本比较低，任何人均可以使用。
   Hadoop带有用Java 语言编写的框架，所以运行在 Linux 生产平台上是很是理想的。本课程的讲解是采用linux平台进行模拟讲解，彻底基于真实场景进行模拟现实

 

亮点一:技术先进，经典应用

 

     新的课程采用了全新平台：Oracle VirtualBox + CentOs + 最新的Hadoop 1.x稳定版本，提供了更稳定，安全的平台，更加贴近企业级应用的真实环境。课程完整，详细的介绍并实现了多个Hadoop经典应用：搜索引擎自动推荐，好友智能推荐，最短路径算法，PageRank。他们表明了当前最成功，应用范围最广的Hadoop应用案例，特别是PageRank，更是Google赖以发家的法宝，直到现在，仍然是Google搜索引擎最为重要的技术。经过这些案例，对于学习如何开发成功的Hadoop应用有极大的帮助。
 

亮点二:内容实用，全面深刻

 

     非Java的MapReduce应用是Hadoop重要内容之一，Streaming和Pipes是将现有应用移植到Hadoop平台的重要技术。另外，Hadoop提供了海量数据的处理方案，可是如何进行原始数据收集，Apache Flume给出了答案，新的Apache Flume的解决方案，更加简单，实用和高效。课程还详细介绍了如何借助Hadoop提供的工具，对集群中的节点进行有效的管理，这些都是一个Hadoop管理人员必备知识。

 

亮点三:讲师丰富的电信集团云平台运做经验

 

讲师robby拥有丰富的电信集团工做经验，目前负责云平台的各方面工做，并拥有多年的企业内部培训经验。讲课内容彻底贴近企业需求，毫不纸上谈兵。

 

第1章节: （4课时）

 

搜索引擎自动推荐（4课时）

> 新平台搭建： 使用VirtualBox建立CentOs虚拟机，并使用RPM的方式安装和使用Hadoop

> 内存数据库Redis的安装和基本使用

> 搜索引擎自动推荐算法讲解

> 使用JqueryUI + Ajax + Redis搭建先后台框架

> 使用Map Reduce实现数据统计算法

> 定制Map Reduce输出，将数据直接写入Redis内存数据库

第2章节: (3课时）

 

好友智能推荐 (3课时）

> 应用背景和算法详细讲解

> Web框架搭建Struts2 + Redis

> 使用Map Reduce结合Redis实现潜在好友查找算法

> 完整的应用逻辑实现：前台好友关注，后台潜在好友查找，再到前台潜在好友推荐

第3章节:(2课时）

 

Hadoop Streaming(2课时）

> 非Java的Map Reduce实现

> 如何使用脚本语言实现一个Map Reduce任务
 

> 如何使用C语言实现一个Map Reduce任务

第4章节: (1课时）

 

Hadoop Pipes (1课时）

> 基于Hadoop Pipes，使用C++实现Map Reduce任务

第5章节: (2课时）

 

Apache Flume基础 (2课时）

> Apache Flume概述

> Flume Agent详细介绍及使用

> 深刻Flume子模块: Source, Sink及Channel的使用

第6章节:  (3课时）

 

Flume实践及分布式应用 (3课时）

> 与搜索引擎自动推荐应用的结合

> 搭建分布式的flume应用

第7章节: (5课时）

 

最短路径算法的Hadoop实现(约5课时）

> 最短路径算法介绍

> 如何使用MapReduce实现最短路径算法

> 找到城市任意公交站点之间的最短路径

第8章节: (3课时）

 

Hadoop集群管理(约3课时）

> Hadoop的日志管理

> 动态添加和删除Hadoop节点

> Namenode和Datanode目录结构介绍

> HDFS的数据安全性：fsimage和editlog
 

> Hadoop管理工具dfsadmin和fsck的使用

第9章节:(5课时）

 

PageRank算法的Hadoop实现(约5课时）

> Google的成名之做：PageRank算法介绍

> 如何使用Hadoop实现PageRank算法