2016年总结及2017年计划

工做了两年多了，一直没写过总结。我想，是该写写总结了，看看最近的收获和教训。

　　我从事大数据开发，是始于2015年，接触的技术也比较有限，从MapReduce开始学起，到HDFS和Hadoop shell命令，到Spark、Hive、Hbase，Sqoop，也算基本入门了，期间还部署了Hadoop集群，（因为只是测试Hadoop集群部署，后面这个集群撤了），用Sqoop、MapReduce和Spark作了一个大数据项目，在2015年末正式上线了，目前运行正常。

　　到了2016年，又作了几个项目。具体的项目有推荐平台，用户画像，实时推荐系统。在作个过程当中，使用了不少新技术，Hadoop、Spark、Hive、Sqoop、Hbase、Flume、Kafka、Redis、MemCache、Parquet、Avro等。

　　在平台建设方面，我研究了Hue平台管理工具、Ooozie这个任务调度工具。

 

2017年计划

0、复习Java的基础语法、并发编程等。《Java编程思想》、《Java与设计模式》、《深刻理解Java虚拟机》、《Java并发编程实战》

一、再看几回Scala语法：《快学Scala》

二、总结Spark，写几篇总结文章

三、阅读Hadoop和Spark源码

四、继续学习研究应用大数据相关技术，Hadoop、Hbase、Hive、Kafka、Flume等

四、复习《微积分》、《几率论与数理统计》、《线性代数》

五、掌握机器学习主要的几个算法的思想、推导过程和代码。