王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第七门课程：云计算分布式大数据Hive数据仓库最佳实践

一：课程简介：

    或许Hive会是数据仓库的终结者……

     做为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计，不少企业里的离线统计甚至全由Hive完成.

    Hive可让你轻松的在Hadoop中存储、查询和分析海量数据。

二：课程特点

1，      深刻浅出中动手实做；

2，      对Hive深刻浅出的剖析；

3，      掌握Hive的优化技术；

4，      Hive和亚马逊云计算

 

 

三：适合对象：

   软件工程师；

    数据库开发人员；

    网络后台开发人员；

    运维人员；

四：基础要求

   了解Linux系统；

    了解网络；

    了解Java；

五：讲师简介

王家林：

Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开发工做，专一于Hadoop一站式解决方案的提供，同时也是云计算分布式大数据处理的最先实践者之一，Hadoop的狂热爱好者，不断的在实践中用Hadoop解决不一样领域的大数据的高效处理和存储，如今正负责Hadoop在搜索引擎中的研发中国电信的屡次Hadoop培训，花旗银行的Hadoop内训，金立手机的Hadoop内训等，著有《云计算分布式大数据Hadoop实战高手之路---从零开始》《云计算分布式大数据Hadoop实战高手之路---高手崛起》《云计算分布式大数据Hadoop。实战高手之路---高手之巅》等；

Android架构师、高级工程师、咨询顾问、培训专家；     

通晓Android、HTML五、Hadoop，迷恋英语播音和健美；

致力于Android、HTML五、Hadoop的软、硬、云整合的一站式解决方案；

国内最先（2007年）从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及Android系统测试和应用软件测试的技术专家和技术创业人员之一。

HTML5技术领域的最先实践者（2009年）之一,成功为多个机构实现多款自定义HTML5浏览器，参与某知名的HTML5浏览器研发；

超过10本的IT畅销书做者；

 

六：培训内容

 

时间	内容	备注
第一天	第1个主题：云计算的四大核心技术 1. HDFS 2. MapReduce 3. HBase 4.Hive   第2个主题：Hive集群与管理 一、 Hadoop集群的搭建 二、 Hadoop集群的监控 三、 Hadoop集群的管理 四、 集群下运行MapReduce程序 五、安装并启动Hive 六、测试Hive   第3主题：Hive的命令、数据类型和文件格式 1. Hive的CLI 2. Hive的集合数据类型 3．编码和模式   第4主题：开发Hive 1. 链接Java调试器到Hive    2. 经过Eclipse来开发Hive代码 3. Hive的单元测试   第5题：HQL 1. HQL的数据定义 2. 使用HQL操做数据 3. 深刻HQL查询   第6题：HQL的视图和索引 HQL的视图：下降查询的复杂度和限定特定的条件 2. HQL的索引：索引的建立和管理、定制索引
时间	内容	备注
次日	第1个主题：Hive中的函数 1. 使用Hive中已有的函数 2. 自定义聚合函数 3. 自定义表生成函数 4. 在自定义函数中访问缓存   第2个主题：Hive的存储过程 一、为什么须要Hive中的存储过程 二、 在后台中运行的存储过程 三、HiveStorageHandler 四、 存储过程的具体编写和使用   第3个主题：Hive架构优化 一、 下降IO负载 二、 表的分区、动态分区 三、 压缩 四、分布式缓存   第4个主题：完全优化HQL 一、 HQL优化的具体策略和方式 二、 Map和Reduce 三、数据倾斜 4，执行计划   第5个主题：在AWS上使用Hive 1. 使用并管理EMR Hive集群 2. EMR集群的详细配置 3．持久层、元数据 4.集群中的HDFS和S3(配置、日志等)   第6个主题：Hive的Thrift 1. 配置、启动、使用Thrift 2. Thrift的管理 3. 管理Hive Server 4.ThriftMetaStore

 

east-tI�0-o��(p� fareast;mso-bidi-font-family: 宋体;color:green;letter-spacing:.2pt;mso-fareast-language:ZH-CN'>MongoDB的性能调优

 

1. 性能调优的策略思考

2.由查询和索引带来的新能调优

3.内存在性能调优中的使用

4.提高磁盘的性能

5．扩展