HBaseのは、スナップショットのデータ圧縮の問題が発生した読み込み-lzo

その他 2019-09-13 03:30:40 訪問数: null

java.library.pathに間違っにおける無gplcompression：1.スナップショットデータのHBaseタイムズないUnsatisfiedLinkErrorを読みます

2019年9月4日17：36：07441 ERROR [testJobName、1、ReaderTask_HbaseReader_0_1] GPLNativeCodeLoader：35 | ネイティブGPLのライブラリをロードできませんでした
がjava.library.pathで無gplcompression：ます。java.lang.UnsatisfiedLinkError 
	java.lang.ClassLoader.loadLibraryで（ClassLoader.java:1867）を
	java.lang.Runtime.loadLibrary0（Runtime.java:870）で
	java.lang.System.loadLibrary（System.java:1122）で
	com.hadoop.compression.lzo.GPLNativeCodeLoader。<clinit>（GPLNativeCodeLoader.java:31）で
	com.hadoop.compression.lzo.LzoCodecで<clinit> （LzoCodec.java:60）
	sun.reflect.NativeConstructorAccessorImpl.newInstance0（ネイティブメソッド）で 
	sun.reflect.NativeConstructorAccessorImpl.newInstanceで（NativeConstructorAccessorImpl.java:62）
	sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）で 
	で、 org.apache.hadoop.hbase.regionserver.HRegion.checkCompressionCodecs（HRegion.java:6562）
	java.lang.reflect.Constructor.newInstance（Constructor.java:423）で
	org.apache.hadoop.util.ReflectionUtils.newInstance（ReflectionUtils.java:129）で
	org.apache.hadoop.hbase.io.compress.Compressionで$アルゴリズム$ 1.buildCodec（Compression.java:127）
	org.apache.hadoop.hbase.io.compress.Compression $アルゴリズム$ 1.getCodec（Compression.java:116）で
	org.apache.hadoop.hbase.io.compressで.Compression $ Algorithm.getCompressor（Compression.java:328）
	org.apache.hadoop.hbase.util.CompressionTest.testCompression（CompressionTest.java:97）で 
	org.apache.hadoop.hbase.regionserver.HRegion.openHRegion（HRegion.java:6481で）
	org.apache.hadoop.hbase.regionserver.HRegion.openHRegion（HRegion.java:6514）で 
	com.suning.data.integration.engine.stream.plugin.readerで.hbasereader.utils.HbaseReaderUtil.read（HbaseReaderUtil.java:95）
	org.apache.hadoop.hbase.regionserver.HRegion.openHRegion（HRegion.java:6452）で
	org.apache.hadoop.hbase.client.ClientSideRegionScannerで。の<init>（ClientSideRegionScanner.java:60）
	org.apache.hadoopで.hbase.mapreduce.TableSnapshotInputFormatImpl $ RecordReader.initialize（TableSnapshotInputFormatImpl.java:209）
	org.apache.hadoop.hbase.mapred.TableSnapshotInputFormat $ TableSnapshotRecordReaderで。の<init>（TableSnapshotInputFormat.java:98）
	org.apache.hadoop.hbaseで.mapred.TableSnapshotInputFormat.getRecordReader（TableSnapshotInputFormat.java:152）
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReader.doStartで（HbaseReader.java:94）
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReader.access $ 000（HbaseReader.java:32）で
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReaderで$ 1.run（HbaseReader.java:76）
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReader $ 1.run（HbaseReader.java:73）で
	java.security.AccessController.doPrivilegedで（ネイティブ方法）
	javax.security.auth.Subject.doAs（Subject.java:422）で 
	組織で.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1548）
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReader.start（HbaseReader.java:73）で
	COMで.suning.data.integration.engine.stream.plugin.reader.ReaderTask $ ReaderThread.run（ReaderTask.java:122） 
	java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1149）に
	するjava.utilで.concurrent.ThreadPoolExecutor $ Worker.run（ThreadPoolExecutor.java:624）
	java.lang.Thread.runで（Thread.java:748）
2019年9月4日17：36：07460 ERROR [testJobName、1、ReaderTask_HbaseReader_0_1] LzoCodec。 70 | ネイティブのHadoopせずにネイティブ-LZOを読み込むことができません

　　-Djava.library.path =は/ opt / Hadoopの/ libに/ネイティブ、このエラーを解剖javaコマンドの実行にないだろう

Javaの-Djava.library.path =は/ opt / Hadoopの/ libに/ネイティブ-cp libに/ *：confには/ *：ストリーム-0.0.1.jar com.hbasereader.HbaseReader

2.後に上記の例外を解決するため、ネイティブLZOライブラリは利用できません異常が浮上しています

org.apache.hadoop.hbase.DoNotRetryIOException：java.lang.RuntimeException：利用できないネイティブLZOライブラリ
	org.apache.hadoop.hbase.util.CompressionTest.testCompression（CompressionTest.java:102）で
	org.apache.hadoopで。 hbase.regionserver.HRegion.checkCompressionCodecs（HRegion.java:6562）
	org.apache.hadoop.hbase.regionserver.HRegion.openHRegion（HRegion.java:6514）で
	org.apache.hadoop.hbase.regionserver.HRegion.openHRegionで（ HRegion.java:6481）
	org.apache.hadoop.hbase.regionserver.HRegion.openHRegion（HRegion.java:6452）で
	org.apache.hadoop.hbase.client.ClientSideRegionScannerで。の<init>（ClientSideRegionScanner.java:60）
	org.apache.hadoop.hbase.mapreduce.TableSnapshotInputFormatImpl $ RecordReader.initialize（TableSnapshotInputFormatImpl.java:209）で 
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReaderで。アクセス$ 000（HbaseReader.java:32）
	org.apache.hadoop.hbase.mapred.TableSnapshotInputFormat $ TableSnapshotRecordReader。の<init>（TableSnapshotInputFormat.java:98）で
	org.apache.hadoop.hbase.mapred.TableSnapshotInputFormat.getRecordReader（TableSnapshotInputFormat.java:152）で
	com.suningで.data.integration.engine.stream.plugin.reader.hbasereader.utils.HbaseReaderUtil.read（HbaseReaderUtil.java:95）
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReader.doStartで（ HbaseReader.java:94） 
	com.suning.data.integration.engine.stream.pluginで.reader.hbasereader.HbaseReader $ 1.run（HbaseReader.java:73）
	java.security.AccessController.doPrivilegedで（ネイティブメソッド）
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReader $ 1.run（HbaseReader.java:76）で
	javax.security.auth.Subject.doAsで（Subject.java:422）
	ORGで。 apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1548）
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReader.start（HbaseReader.java:73）で
	com.suningで。 data.integration.engine.stream.plugin.reader.ReaderTask $ ReaderThread.run（ReaderTask.java:122）
	java.util.concurrent.ThreadPoolExecutor.runWorker（ThreadPoolExecutor.java:1149）で
	のjava.util.concurrent.ThreadPoolExecutor $ Worker.run（ThreadPoolExecutor.java:624）
	java.lang.Thread.runで（Thread.java:748） 
java.lang.RuntimeException：利用できないネイティブLZOライブラリによって引き起こさ
	com.hadoopで。 compression.lzo.LzoCodec.getCompressorType（LzoCodec.java:135）
	org.apache.hadoop.io.compress.CodecPool.getCompressor（CodecPool.java:148）で
	org.apache.hadoop.io.compress.CodecPool.getCompressor（CodecPool.java:163）で
	org.apache.hadoop.hbaseで.io.compress.Compression $ Algorithm.getCompressor（Compression.java:330）
	org.apache.hadoop.hbase.util.CompressionTest.testCompression（CompressionTest.java:97）で
	... 21もっと

	com.suning.dataで。 integration.engine.stream.core.exception.DiException.asDiException（DiException.java:51） 
	com.suning.data.integration.engine.stream.pluginで。 reader.hbasereader.utils.HbaseReaderUtil.read（HbaseReaderUtil.java:131）
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReader.doStart（HbaseReader.java:94）で
	のcom.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReader.access $ 000（HbaseReader.java:32）
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReader $ 1.run（HbaseReader.java:76）で
	com.suning.data.integration.engine.stream.plugin.reader.hbasereader.HbaseReaderで$ 1.run（HbaseReader.java:73）
	java.security.AccessController.doPrivileged（ネイティブメソッド）で
	javax.security.auth.Subject.doAs（Subject.java:422）で
	org.apache.hadoop.security.UserGroupInformationで。 doAs（UserGroupInformation.java:1548） 
	com.suning.data.integration.engine.streamました。 plugin.reader.hbasereader.HbaseReader.start（HbaseReader.java:73）
	com.suning.data.integration.engine.stream.plugin.reader.ReaderTask $ ReaderThread.run（ReaderTask.java:122）で
	java.util.concurrent.ThreadPoolExecutor.runWorkerで（ThreadPoolExecutor。 Javaの：1149）
	java.util.concurrent.ThreadPoolExecutor $ Worker.runで（ThreadPoolExecutor.java:624）
	java.lang.Thread.run（Thread.java:748）で
org.apache.hadoop.hbase.DoNotRetryIOException：java.lang.RuntimeException：利用できないネイティブLZOライブラリによって引き起こさ
	org.apache.hadoop.hbase.utilで.CompressionTest.testCompression（CompressionTest.java:102）
	org.apache.hadoop.hbase.regionserver.HRegion.checkCompressionCodecs（HRegion.java:6562）で
	org.apache.hadoop.hbase.regionserver.HRegion.openHRegionで（HRegion.java ：6514）
	org.apache.hadoop.hbase.regionserver.HRegion.openHRegion（HRegion.java:6481）で 
	org.apache.hadoop.hbase.regionserver.HRegion.openHRegion（HRegion.java:6452で）
	org.apache.hadoop.hbase.client.ClientSideRegionScannerで<初期化>（ClientSideRegionScanner.java:60）。
	ORGで。 apache.hadoop.hbase.mapreduce.TableSnapshotInputFormatImpl $ RecordReader.initialize（TableSnapshotInputFormatImpl.java:209）
	org.apache.hadoop.hbase.mapred.TableSnapshotInputFormat $ TableSnapshotRecordReader。の<init>（TableSnapshotInputFormat.java:98）で
	org.apache.hadoop.hbase.mapred.TableSnapshotInputFormat.getRecordReader（TableSnapshotInputFormat.java:152）で
	com.suningで.data.integration.engine.stream.plugin.reader.hbasereader.utils.HbaseReaderUtil.read（HbaseReaderUtil.java:95）
	... 12もっと
java.lang.RuntimeException：：利用できないネイティブLZOライブラリによって引き起こさ
	コムで。 hadoop.compression.lzo.LzoCodec.getCompressorType（LzoCodec.java:135） 
	org.apache.hadoop.io.compressで。 CodecPool.getCompressor（CodecPool.java:148）
	org.apache.hadoop.io.compress.CodecPool.getCompressor（CodecPool.java:163）で
	org.apache.hadoop.hbase.io.compressで。圧縮$ Algorithm.getCompressor（Compression.java:330）
	org.apache.hadoop.hbase.util.CompressionTest.testCompression（CompressionTest.java:97）で
	... 21以上

 このエラーは出て報告されます。

 

 

調査後の理由は、最終的には、実際に引用されたHadoopの-GPL-圧縮-xxx.jarとして、ピットの父、およびHadoopの-GPL-圧縮が古いバージョンで、週ました

 

 Hadoopの-GPL-圧縮は問題解決、Hadoopの-LZOのjarパッケージを使用して、コメント

ツイッターは現在、GitHubの上のバージョンを維持するために使用され、ソースコードクローンGitのダウンロード  https://github.com/twitter/hadoop-lzo.gitを  、Mavenのコンパイラパッケージを使用して、Hadoopの-LZO-xxx.jarは、プロジェクトに参加しますネイティブLZOライブラリは利用できません問題を解決するための完璧な。

Hadoopの-LZOをコンパイルするためにMavenを使用する方法については、あなたは私のブログの記事を参照することができます：  Hadoop3.1.2 + Hbase2.2.0は、LZO圧縮アルゴリズムを設定 

 

注：Hadoopの-GPL-圧縮時代遅れ、Hadoopの-LZOを使用してください

　　   時代遅れのHadoop-GPL-圧縮、Hadoopの-LZOを使用してください

　　   時代遅れのHadoop-GPL-圧縮、Hadoopの-LZOを使用してください

　　　三回言うべき重要なこと！！！

おすすめ

転載: www.cnblogs.com/qixing/p/11514823.html
おすすめ
ランキング
求1到10的阶乘相加值
除数無限のアルゴリズムので、
いいえ公共、オープンプラットフォームとマイクロチャネル公共プラットフォームを微信ありません
ログの形式でSQL出力
アンドリュースORMフレームワークの基本的な使用GreenDao
MySQL基础教程13——函数——流程控制函数
Go build构建包
LeetCode刷题——排序链表#148#Medium
Python difflib の使用
カール送信httpリクエスト
アーカイブ
もっと
2024-06-13(0)
2024-06-12(0)
2024-06-11(0)
2024-06-10(0)
2024-06-09(0)
2024-06-08(0)
2024-06-07(0)
2024-06-06(0)
2024-06-05(0)
2024-06-04(0)

コードワールド

© 2018 codetd.com