使用Snappy 压缩方式报错“java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path”

时间  2019-11-11
标签 使用 snappy 压缩 方式 报错 java.lang.unsatisfiedlinkerror java lang unsatisfiedlinkerror snappyjava java.library.path library path 栏目 Java 繁體版
原文   原文链接

状况描述

其实这个问题已经困扰我好久了，最近在公司Linux上搭建hadoop 和 spark环境的时候，我就遇到 spark提交做业到yarn 集群就报错这个错，当时已经安装snappy环境了，任何关于snappy静态库都编译了，这是我提交到spark mail list上的http://apache-spark-user-list.1001560.n3.nabble.com/java-lang-UnsatisfiedLinkError-no-snappyjava-in-java-library-path-td23945.html
后来也没人给我回复，就有一我的这样给我回复的“chef if hadoop distribution doesn’t come with other version of snappy jar, if you have 2 snappies in classpath it may cause your problem
”
而最近我在macox下 搭建一个spark伪分布式模式，我在idea上启动spark任务时候，也报这个错了
“java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.xerial.snappy.SnappyLoader.loadNativeLibrary(SnappyLoader.java:317)
at org.xerial.snappy.SnappyLoader.load(SnappyLoader.java:219)
at org.xerial.snappy.Snappy.(Snappy.java:44)
at org.apache.spark.io.SnappyCompressionCodec.(CompressionCodec.scala:150)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.spark.io.CompressionCodec .createCodec(CompressionCodec.scala:68)atorg.apache.spark.io.CompressionCodec .createCodec(CompressionCodec.scala:60)
at org.apache.spark.scheduler.EventLoggingListener.(EventLoggingListener.scala:69)
at org.apache.spark.SparkContext.(SparkContext.scala:513)
at org.apache.spark.examples.SparkPi .main(SparkPi.scala:28)atorg.apache.spark.examples.SparkPi.main(SparkPi.scala)atsun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethod)atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)atjava.lang.reflect.Method.invoke(Method.java:606)atorg.apache.spark.deploy.yarn.ApplicationMaster anon 2.run(ApplicationMaster.scala:483)
Caused by: java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path
at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1886)
at java.lang.Runtime.loadLibrary0(Runtime.java:849)
at java.lang.System.loadLibrary(System.java:1088)
at org.xerial.snappy.SnappyNativeLoader.loadLibrary(SnappyNativeLoader.java:52)
… 23 more ”
后来我在谷歌上搜索 “java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path”关键字，我看到github 上 snappy的issue，https://github.com/xerial/snappy-java/issues/6
发现 这就是jdk1.7.X on mac ，但我想 貌似Linux 也应该有问题吧，但又不敢肯定，由于我以前把咱们测试环境集群全部关于hadoop 和spark的压缩包都在我本地的ubutun环境搭建了（jdk，scala，hadoop，spark都是同样），NND 个人ubutun上就没有任何问题，个人神呀html

而后呢？

我想既然这个问题 不是hadoop和spark上的问题，那我就先使用snappy压缩和解压一段java String
我在github上找到snappy源码中的README.md有使用snappy 示例java

依赖：
        <dependency>
            <groupId>org.xerial.snappy</groupId>
            <artifactId>snappy-java</artifactId>
            <version>1.1.1.4</version>
            <type>jar</type>
            <scope>compile</scope>
        </dependency>
   源码：
        public class TestSnappy {
    public static void main(String[] args) throws Exception{

        String input = "Hello snappy-java! Snappy-java is a JNI-based wrapper of "
                + "Snappy, a fast compresser/decompresser.";
        byte[] compressed = Snappy.compress(input.getBytes("UTF-8"));
        byte[] uncompressed = Snappy.uncompress(compressed);

        String result = new String(uncompressed, "UTF-8");
        System.out.println(result);
    }
}

使用snappy 1.1.1.4版本是由于 spark源码的pom.xml文件都使用这个版本的snappy
当我运行这个程序后，报错以下：git

java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.xerial.snappy.SnappyLoader.loadNativeLibrary(SnappyLoader.java:317)
    at org.xerial.snappy.SnappyLoader.load(SnappyLoader.java:219)
    at org.xerial.snappy.Snappy.<clinit>(Snappy.java:44)
    at test.TestSnappy.main(TestSnappy.java:12)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)
Caused by: java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path
    at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1886)
    at java.lang.Runtime.loadLibrary0(Runtime.java:849)
    at java.lang.System.loadLibrary(System.java:1088)
    at org.xerial.snappy.SnappyNativeLoader.loadLibrary(SnappyNativeLoader.java:52)
    ... 13 more
Exception in thread "main" org.xerial.snappy.SnappyError: [FAILED_TO_LOAD_NATIVE_LIBRARY] null
    at org.xerial.snappy.SnappyLoader.load(SnappyLoader.java:229)
    at org.xerial.snappy.Snappy.<clinit>(Snappy.java:44)
    at test.TestSnappy.main(TestSnappy.java:12)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)

Process finished with exit code 1

后来我就继续看https://github.com/xerial/snappy-java/issues/6github

dgerges commented on 5 Feb 2014
An easy fix if you want to continue to use 1.4.0.1 on MacOSX with JDK 1.7

unzip snappy-java-1.0.4.1.jar
cd org/xerial/snappy/native/Mac/x86_64/
copy libsnappyjava.jnilib libsnappyjava.dylib
cd ../../../../../..
cp snappy-java-1.0.4.1.jar snappy-java-1.0.4.1.jar.old
jar cf snappy-java-1.0.4.1.jar org

进入到 ~/.m2/repository/ 而后按照上述描述尝试了下，
当我再次运行TestSnappy程序后，果真不报错了数据库

Hello snappy-java! Snappy-java is a JNI-based wrapper of Snappy, a fast compresser/decompresser.

Process finished with exit code 0

看来 macox下 要须要识别 ”libsnappyjava.dylib“ 这个文件
写到这，我忽然想说下我最近关于mac发生的事情：
我如今在使用的这台电脑是mac book air,是公司给我配置的，而我本身有个mac book pro 840 中配，就关于“no snappyjava in java.library.path”这个问题，我有天晚上忽然想在本身的pro上再试一次，而后就用一样的hadoop和spark等包都在pro上安装了，后来启动hadoop时候就报错 没法加载 hadoop相关的.so 静态文件，后来我就把$HADOOP_HOME/lib/native/*.so 文件cp 到/usr/local/lib/ 还有 /usr/lib/,可是仍是没效果，后来我合计 既然很差用，那我就把/usr/local/lib/ 还有 /usr/lib/ 下得.so文件删除吧，
1. 先/usr/local/lib/下全部hadoop相关的.so文件删除了
2. 而后删除/usr/lib/下相关文件，由于咱们项目也使用了lzma,当时我也是SB了，直接就rm -rf /usr/lib/liblzma* ，而后呢？执行 sudo 任何命令，都提示“can not initialized PAM”，后来也不能上网了，当时还SB的认为，mac怎么也能抽风呢？重启电脑吧，后来居然没法启动了，进度条在50%后，就不动了，后来进入单用户模式，看/var/log/才知道，原来缺乏 /usr/lib/liblzma.5.dylib /usr/lib/liblzma.dylib 这个两个文件
这里写图片描述
当时就想着 从别的mac 上copy这两个文件就OK了。可是U盘不能挂载了（是我单用户进去的），我也拦着弄了，我就合计线上升级了，发现试了几回，家里网络也不行，我就放弃了，第二天去公司，用同事作得macox U盘镜像 安装系统，发现他得版本没个人高，后来我同事让我本身作个，我又懒着作了，我就去三里屯 苹果店了，10分钟从新在线安装了。哎我是SB呀apache

spark解决办法

  1. macox
    既然macox下 要识别 ”libsnappyjava.dylib“ 这个文件，那我就把这个文件 copy到/usr/local/lib/下 ，执行命令：cp libsnappyjava.dylib /usr/local/lib/
    执行命令：ls /usr/local/lib/libsnappy*
    这里写图片描述
    当我再次在idea上运行spark程序，也没有再报错了，问题也解决了
  2. 公司测试集群
    因为这问题 有点影响总体进度了，因此我就把这个问题跳过了，但仍是没有解决
    目前解决方案是：
    在 $SPARK_HOME/conf/spark-defaults.conf中增长 spark.io.compression.codec lzf
    由于spark默认是使用snappy压缩方式 在处理日志聚合和 driver与executor通讯等

恳请你们帮帮忙

若是你们知道怎么解决 在Linux上spark “no snappyjava in java.library.path”问题，请回复，问题解决，我请客，嘿嘿
具体问题描述：http://apache-spark-user-list.1001560.n3.nabble.com/java-lang-UnsatisfiedLinkError-no-snappyjava-in-java-library-path-td23945.html编程

———————————-职位推荐————————————
友盟(www.umeng.com)，中国最大的移动开发者服务平台。请各位朋友帮忙推荐，成功推荐送Apple Watch！后端

技术总监
岗位描述：
一、负责统计分析产品的技术架构
二、提升团队的工做效率和工程质量
三、对已有的业务系统进行优化和重构
四、帮助产品经理完成新功能的需求分析
五、设计和实施新的数据流水线，知足新的业务需求
岗位要求：
你应该是专一于分布式计算或高性能计算的领域专家，而且有志于在统计分析领域深刻发展。你应该参与过大型分布式系统的设计和实施，而且有丰富的应用运维经验。你须要对基于数据驱动的方法论充满兴趣。性能优化

你应该符合如下条件：
一、5年以上工做经验，其中至少3年与互联网相关
a) 有丰富的 Java 或 Scala 的编程经验
b) 有实际的 Storm，MongoDB、HIVE、HBase 或相关项目经验
二、良好的沟通能力和团队合做能力
三、有实际的互联网服务的运营和维护经验
四、良好的英文阅读能力，以及对全球开源社区的持续关注
五、本科及以上学历，计算机、自动化、电子工程等相关专业markdown

加分项：
1. 在移动互联网公司有工做经验，对移动端技术有所了解
2. 有统计学、Business Intelligence的专业背景或工做经验
3. 参与过复杂异构系统的集成、部署或维护工做
4. 有技术管理经验，能发掘和培养有潜力的工程师

移动分析平台高级工程师/架构师 【职位描述】： 一、负责设计与实现分析平台相关API及服务 (数万Requests / 秒) 二、负责设计，实现或改进分析系统实时流式计算平台 (数据量: 数个TB / 天) 三、改进系统架构 四、负责线上问题debug及性能调优 【任职资格】： 一、计算机科学或相关专业本科或以上学历 二、扎实的计算机专业基础知识 三、熟悉Java/Scala/Clojure/C++ 等任一门语言 四、有互联网后端项目开发经验, 熟悉高并发网络编程, 熟悉分布式理论基础 五、热爱程序设计, 能快速学习, 有独立解决问题的能力 加分项 一、参与过开源项目 二、熟悉 Finagle / Netty 等网络编程框架 三、了解或熟悉 Storm / Hadoop / Spark / Akka / Kafka / Scribe 等分布式系统 四、熟悉 MongoDB / MySQL / Redis / Cassandra / HBase 等数据库系统 五、熟悉大规模数据处理、高并发或分布式系统相关知识，熟悉JVM性能优化, 有后端服务优化相关经验

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程