最近由于公司的spark版本升级使用spark2.1.1版本,个人感觉spark2.1.1确实好用些。
我写的代码上需要连接elasticsearch,去es查询然后返回结果,这个时候在使用maven打包然后运行就会报下面的错
之前在使用spark1.6的就没有出现过这个情况。查看错误发现是无法创建ES的客户端,上网查看质料原因是guava18个和包和
2.pom文件配置完成后运行:
mvn clean install
如图所示
然后用maven打包,测试一下会发现,冲突问题解决了。
我写的代码上需要连接elasticsearch,去es查询然后返回结果,这个时候在使用maven打包然后运行就会报下面的错
之前在使用spark1.6的就没有出现过这个情况。查看错误发现是无法创建ES的客户端,上网查看质料原因是guava18个和包和
spark自带的冲突了。然后通过maven-shade-plugin 解决Elasticsearch与spark的jar包冲突问题
1.首先是参考es官网blog:https://www.elastic.co/blog/to-shade-or-not-to-shade ,新建一个maven项目进行如下配置
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>my.elasticsearch</groupId> <artifactId>es-shaded</artifactId> <version>1.0-SNAPSHOT</version> <properties> <elasticsearch.version>2.3.3</elasticsearch.version> </properties> <dependencies> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>${elasticsearch.version}</version> </dependency> <dependency> <groupId>org.elasticsearch.plugin</groupId> <artifactId>shield</artifactId> <version>${elasticsearch.version}</version> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>2.4.3</version> <configuration> <createDependencyReducedPom>false</createDependencyReducedPom> </configuration> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> <configuration> <relocations> <relocation> <pattern>com.google.guava</pattern> <shadedPattern>my.elasticsearch.guava</shadedPattern> </relocation> <relocation> <pattern>org.joda</pattern> <shadedPattern>my.elasticsearch.joda</shadedPattern> </relocation> <relocation> <pattern>com.google.common</pattern> <shadedPattern>my.elasticsearch.common</shadedPattern> </relocation> <relocation> <pattern>com.google.thirdparty</pattern> <shadedPattern>my.elasticsearch.thirdparty</shadedPattern> </relocation> </relocations> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer" /> </transformers> </configuration> </execution> </executions> </plugin> </plugins> </build> <repositories> <repository> <id>elasticsearch-releases</id> <url>http://maven.elasticsearch.org/releases</url> <releases> <enabled>true</enabled> <updatePolicy>daily</updatePolicy> </releases> <snapshots> <enabled>false</enabled> </snapshots> </repository> </repositories> </project>
2.pom文件配置完成后运行:
mvn clean install
如图所示
然后看到build success的话表示打包成功,新的依赖包会在我们之前配置的maven repository文件夹中。如图所示出现在我安装的maven环境下了。
3.下面回到原来的集成项目的pom文件中。引入该jar包: (注意这里需要排除掉之前引用的es2.3.3的jar包,不然maven会将2.3.3的jar包打进去,造成冲突)
<dependency> <groupId>my.elasticsearch</groupId> <artifactId>es-shaded</artifactId> <version>1.0-SNAPSHOT</version> <exclusions> <exclusion> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> </exclusion> </exclusions> </dependency>
然后用maven打包,测试一下会发现,冲突问题解决了。