Structured Streaming + Kafka 集成中遇到的问题

时间 2019-12-09

标签 structured streaming kafka 集成遇到问题栏目 Kafka 繁體版

原文原文链接

官方指导：http://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.htmlhtml

一、版本问题起初用的kafka是0.8，各类问题，后面换成官方要求的 0.10.0 以上，一些版本问题再没有了。java

二、在windwos 下测试本地模式测试代码逻辑apache

错误1：Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)Voop

遇到这个问题请确认一下几个步骤是否正确测试

一、C:/Windows/System32/和Hadoop—Home/bin目录下添加hadoop.dll文件spa

二、hadoop_home的环境变量htm

三、hadoop.dll的版本的问题(hadoop2.4以前和以后对hadoop.dll的要求不同)blog

hadoop.dll_2.6ip

错误2：Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Zhadoop

　　错误2是紧接着错误1的，网上说目前错误的解决办法尚未解决，采用一种临时的方式来解决，解决的办法是：经过下载你的CDH的版本的源码（hadoop2.6.0-cdh5.4.4-src.zip），在对应的文件下，hadoop2.6.0-cdh5.4.4-src\hadoop-common-project\hadoop- common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 复制到对应的Eclipse的project（复制的过程当中须要注意一点，就是在当前的工程下建立相同的包路径，这里的包路径org.apache.hadoop.io.nativeio，再将对应NativeIO.java文件复制到对应的包路径下便可。）

　须要替换的

　　NativeIO.java