学而不思则罔,一眨眼已经工做四年多了,除了感叹时间过的真快外,感受本身对技术的掌握很乱,主要在于以前在中小型公司工做,对技术的要求是全而不深,要求你啥都要懂。领导说到一个技术,你就得去学去用,固然一我的的精力有限,学的全面了固然就不精通了。html
回顾一下这些年用过的技术:java
1、开发语言java,scala,python,htmlpython
2、web开发框架:mysql
java: SSM,SpringBootgit
scala:Playweb
python:Flaskredis
3、大数据相关的组件:sql
hadoop:大数据的基石,用的比较多的是HDFS数据库
hive: 数据仓库工具,主要用于大数据的离线处理网络
spark:主要用于大数据的离线处理和实时处理
hbase:分布式,面向列的数据库
MongoDB:基于分布式文件存储的数据库
sqlserver,mysql,oracle:经常使用的关系型数据库
redis:内存数据库
kafka:消息中间件
flume:数据收集处理工具
sqoop:主要用于hive与关系型数据库中的数据转移
zookeeper:用于分布式应用的管理协调
4、数据挖掘
kettle:图形化的ETL工具
numpy,pandas,matplotlib:Python数据分析经常使用的工具包
hanlp:java的NLP工具包
gensim,jieba:python的NLP工具包
Beautiful Soup,pyspider:python爬虫相关
tensorflow,paddlepaddle:python深度学习框架
5、其余
maven,sbt:项目管理工具
git:版本控制工具
CDH:hadoop的另外一个经常使用版本
如今感受技术挺全面的了,2020年计划将这些技术进行更进一步的学习巩固,构建本身的知识体系。
2020年想学的技术:Flink,更多的神经网络