spark开发机中调试snappy

目的

在Idea中的点击运行,使spark能够直接读取snappyapp

本身编译hadoop,以支持snappy的压缩。

本身编译的目的就是要获得支持snappy文件读写的动态连接库。若是能够在网上下载,能够跳过自行编译ide

如何编译参考:http://www.javashuo.com/article/p-wybsvpiy-ea.htmloop

idea中添加本地动态连接库

光标选择项目直接快捷键idea

ctrl + alt + shift + s 调出项目结构界面 spa

选择编译hadoop后本身动态连接库所放的目录.net

配置好后,就能够像读取文本文件同样读取snappy文件了blog

相关文章
相关标签/搜索