[笔记] 用单节点HIVE+SPARK执行ETL任务
动机 自己是java码农. 运维的Hadoop小集群上硬盘故障已经成为天天平常, 有各类hdfs故障. 最严重一次,文件无法从datanode同步到namenode的状况,致使集群彻底不可用.html 目前不少ELT任务都是用Spark和Hive实现的从kafka导入数据到HDFS,清洗后导入数据库. ETL代码里可能彻底看不到Hdfs, 大部分都是Hive的sql操做或者Spark的rdd操做,
相关文章
- 1. 如何限制jenkins的任务在某个节点上执行
- 2. shell 任务执行
- 3. JAVA定时执行任务,天天定时几点钟执行任务（Timer）
- 4. mapreduce 执行任务
- 5. Task.Run()任务执行
- 6. activiti服务任务节点
- 7. Spark任务执行流程随笔
- 8. [随笔] ssh远程执行任务
- 9. ssis sql_SSIS：执行T-SQL语句任务与执行SQL任务
- 10. Spring StopWatch：记录任务执行时间
- 更多相关文章...
- • Eclipse 任务管理 - Eclipse 教程
- • XML DOM 节点 - XML DOM 教程
- • Tomcat学习笔记（史上最全tomcat学习笔记）
- • TiDB 在摩拜单车在线数据业务的应用和实践
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
