API読みMongoのバージョンの非互換性の火花を使用します

スパークバージョン2.1.1
Mongoのバージョン3.4.6は
、一日で、このような結論を言うために多くを話し、そして従事しませんでした:
あなたはモンゴを読んAPI火花を使用する場合、一般的に考慮するために、2つの側面を開始し、NotFoundClassまたはNoSuchMethod及びその他のこのようなエラーを持っている:
1クラスタ環境では、完全なjarファイルのパッケージではありません。
2、バージョンの競合またはjarパッケージのjarパッケージは、クラスタと互換性がありません
ソリューション:
SparkConfファイル、
ここに画像を挿入説明
confファイルのポイントEXTLIBディレクトリに次のjarパッケージを追加します。
BSON-3.4.2.jar
MongoDBのドライバ-3.4.2.jar
のMongoDBコア-3.4.2.jar -ドライバー
のmongo-ドライバー-3.4.2.jar Javaベース
のmongo-火花connector_2.11-2.1.1.jar
注:その依存関係をダウンロードしますPOMファイルでダウンロードモンゴ・スパークMongoの-javaのドライバ-xXX.jar、一緒に瓶クラスタのこのバージョンへのコピーと、モンゴ-javaのドライバ-xXX.jarは、他のjarファイルに依存しますが、クラスタ構成にすべてのjarファイルをコピーするために使用する必要がありますEXTLIBディレクトリ。

おすすめ

転載: blog.csdn.net/weixin_38653290/article/details/90400324