HBaseのエントリ（2） - インストールと設定

ファイル

この記事では、インストール、展開、HBaseのクラスターの開始と停止、コマンドの基本的な操作HBaseのラインを実行する方法について説明します。

そして、HBaseのプロファイルを記述する。

あなたは、インストール前にインストールされているすべての前提条件を完了する必要があります。

ファイル

前提

1、JDK

そして、Hadoopのように、HBaseのはとてもJDKおよび設定環境変数をインストールしてください、JDK1.6以降のバージョンが必要です。

JDKのバージョンのHBaseのバージョン

HBaseのバージョン	JDK 7	JDK 8	JDK 9（非LTS）	JDK 10（非LTS）	JDK 11
2.0+			HBaseの-20264	HBaseの-20264	HBaseの-21110
1.2+			HBaseの-20264	HBaseの-20264	HBaseの-21110

2、飼育係

飼育係は、一点を問題点を解決するためのHMASTER責任のHBaseクラスタコーディネーター、である、それは飼育係をインストールする必要があります。

3、Hadoopの

クラスタモード、我々は、Hadoopの環境が必要です

Hadoopのバージョンがサポート

T =サポート
Fはサポートされていません=
N =テストされていません

	HBaseの-1.2.xでは、HBaseの-1.3.xの	HBaseの-1.4.xの	HBaseの-2.0.xの	HBaseの-2.1.xの
Hadoopの-2.4.xの	T	F	F	F
Hadoopの-2.5.xの	T	F	F	F
Hadoopの-2.6.0	F	F	F	F
Hadoopの-2.6.1 +	T	F	T	F
Hadoopの-2.7.0	F	F	F	F
Hadoopの-2.7.1 +	T	T	T	T
Hadoopの-2.8。[0-1]	F	F	F	F
Hadoopの-2.8.2	N	N	N	N
Hadoopの-2.8.3 +	N	N	T	T
Hadoopの-2.9.0	F	F	F	F
Hadoopの-2.9.1 +	N	N	N	N
Hadoopの-3.0。[0-2]	F	F	F	F
Hadoopの-3.0.3 +	F	F	T	T
Hadoopの-3.1.0	F	F	F	F
Hadoopの-3.1.1 +	F	F	T	T

第二に、インストールと展開

HBaseの2つの動作モード、スタンドアローンモードと分散モードがあります。

1、スタンドアローンモード

ダウンロード

まず第一に、ここでのHBaseの安定版をダウンロードするには、https://www.apache.org/dyn/closer.lua/hbase/

トップリンクをクリックしてお勧めしますHBaseのリリースをクリックし、安定したフォルダを、次になりますダウンロードしtar.gz形式のローカルにバイナリファイルの終わりを。一時的にダウンロードしないでくださいsrc.tar.gzファイルエンディング。

ファイル

減圧

取り出したいディレクトリに

$ tar xzvf hbase-1.3.5-bin.tar.gz
$ cd hbase-1.3.5/

JAVA_HOME

あなたはHBaseのを開始する前に、設定する必要があるJAVA_HOME環境変数を。あなたは一般的に、オペレーティング・システムの設定を使用する変数を設定することができ、HBaseのは、中央機構提供のconf / hbase-env.shを。このファイル、コメントを外し編集JAVA_HOME行の先頭を、およびオペレーティングシステムのパスに合わせて設定します。

JAVA_HOME=/usr

HBaseの-site.xmlの

編集するHBaseのマスター設定ファイルのconf / HBaseの-site.xmlのを。

あなたは、ローカルファイルシステム上のHBaseとZooKeeperのデータ格納ディレクトリを指定する必要があります。

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///home/testuser/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/testuser/zookeeper</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
    <description>
      Controls whether HBase will check for stream capabilities (hflush/hsync).

      Disable this if you intend to run on LocalFileSystem, denoted by a rootdir
      with the 'file://' scheme, but be mindful of the NOTE below.

      WARNING: Setting this to false blinds you to potential data loss and
      inconsistent system state in the event of process and/or node failures. If
      HBase is complaining of an inability to use hsync or hflush it's most
      likely not a false positive.
    </description>
  </property>
</configuration>

コミットメント

ビン/ start-hbase.shのHBaseを開始します

ビン/ start-hbase.sh停止のHBase

使用することができjpsHMASTERを確認し、HRegionServerプロセスがオフになっています。

2、クラスタモデル

2.1疑似分散モード

疑似分散モードのHBaseはまだ完全に単一のホスト上で実行する手段が、各HBaseのデーモン（HMASTER、HRegionServerとZooKeeperの）は別のプロセスとして実行されます。

HDFSが正常に動作することを保証するために、クラスタモデルを使用する前に。

HBaseの-site.xmlの

編集するHBaseのマスター設定ファイルのconf / HBaseの-site.xmlのを。

URI指定HDFS上の分散モードを必要とします

<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://localhost:8020/hbase</value>
</property>

使用start-hbase.sh / binが HBaseのを開始します。お使いのシステムが正しく設定されている場合は、jpsコマンドはHMASTERとHRegionServerプロセスが実行されて表示されるはずです。

バックアップのHBaseマスター（HMASTER）サーバの起動と停止

あなたは9 HMASTERバックアップサーバに起動することができ、サーバコンピューティングHMASTER 10プライマリサーバの合計。

$ ./bin/local-master-backup.sh start 2 3 5

他のRegionServersの開始と停止

$ .bin/local-regionservers.sh start 2 3 4 5

2.2完全分散

実際には、あなたは完全にHBaseのをテストするために、完全に分散構成を必要とし、実際の場面で使用されます。分散構成では、クラスタは、各ノードは、1つのまたは複数のHBaseデーモンを実行し、複数のノードから成ります。これらは、プライマリとバックアップマスター・インスタンス、複数のノードと複数のリージョンサーバーのZooKeeperのノードを含みます。

アーキテクチャ次のように：

ノード名	主人	ZooKeeperの	リージョンサーバー
node-a.example.com	はい	はい	番号
node-b.example.com	バックアップ	はい	はい
node-c.example.com	番号	はい	はい

そのような暗号化とssh-無料の権限を設定するには、ファイアウォール、および起動するように設定飼育係として、通信ノード権があることを確認します。

HBaseのは、各マシンにプロファイルの同期をダウンロードし、解凍します。

クラスタを起動

$ bin/start-hbase.sh
node-c.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-zookeeper-node-c.example.com.out
node-a.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-zookeeper-node-a.example.com.out
node-b.example.com: starting zookeeper, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-zookeeper-node-b.example.com.out
starting master, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-master-node-a.example.com.out
node-c.example.com: starting regionserver, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-regionserver-node-c.example.com.out
node-b.example.com: starting regionserver, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-regionserver-node-b.example.com.out
node-b.example.com: starting master, logging to /home/hbuser/hbase-0.98.3-hadoop2/bin/../logs/hbase-hbuser-master-nodeb.example.com.out

3、ウェブUI

上記のHBase 0.98.xでは、HBaseのウェブUIは、マスタノード16010及び16030リージョンサーバーポート60030と60010から変化します

あなたは、スタート後のHBaseでページを表示することができます。

ファイル

三、HBaseのシェル

HBaseのインストールディレクトリでのbin /ディレクトリの使用hbase shellHBaseの実行中のインスタンスを接続するためのコマンドを。

$ ./bin/hbase shell
hbase(main):001:0>

プレビューHBaseのシェルヘルプテキスト

入力helpし、Enterキーを押します、あなたは基本的な情報とHBaseのシェルコマンドのいくつかの例を見ることができます。

テーブルを作成します。

使用するcreateテーブル名とカラムファミリ名を指定する必要がありますテーブルを作成します

hbase(main):001:0> create 'test', 'cf'
0 row(s) in 0.4170 seconds

=> Hbase::Table - test

表情報

使用するlistビュー表が存在します

hbase(main):002:0> list 'test'
TABLE
test
1 row(s) in 0.0180 seconds

=> ["test"]

使用`describe`ディスプレイの詳細と設定を

hbase(main):003:0> describe 'test'
Table test is ENABLED
test
COLUMN FAMILIES DESCRIPTION
{NAME => 'cf', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE =>
'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'f
alse', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE
 => '65536'}
1 row(s)
Took 0.9998 seconds

データの挿入

使用put挿入データを

hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.0850 seconds

hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0110 seconds

hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0100 seconds

すべてのスキャンデータ

HBaseのからデータを取得するための一つの方法ですscan。スキャンコマンドを使用して、テーブルのデータをスキャンします。あなたは、スキャンを制限行うことができます。

hbase(main):006:0> scan 'test'
ROW                                      COLUMN+CELL
 row1                                    column=cf:a, timestamp=1421762485768, value=value1
 row2                                    column=cf:b, timestamp=1421762491785, value=value2
 row3                                    column=cf:c, timestamp=1421762496210, value=value3
3 row(s) in 0.0230 seconds

データ収集

使用するgetデータの取得コマンドを1回

hbase(main):007:0> get 'test', 'row1'
COLUMN                                   CELL
 cf:a                                    timestamp=1421762485768, value=value1
1 row(s) in 0.0350 seconds

故障者リスト

使用するdisableテーブルを無効にするには、コマンドを

hbase(main):008:0> disable 'test'
0 row(s) in 1.1820 seconds

hbase(main):009:0> enable 'test'
0 row(s) in 0.1770 seconds

使用するenableテーブルを有効にするには、コマンドを

hbase(main):010:0> disable 'test'
0 row(s) in 1.1820 seconds

表を削除します

hbase(main):011:0> drop 'test'
0 row(s) in 0.1370 seconds

HBaseのシェルを終了します

使用するquitクラスタからのコマンドラインと切断を終了するには、コマンドを。

第四に、詳細なプロフィール

同じシステム構成を使用してApache HadoopのApacheのHBaseの。すべての設定ファイルは次の場所にあります。confに/ディレクトリは、クラスタ内のペースに各ノードを維持する必要があります。

backup-masters
默认情况下不存在。这是一个纯文本文件，其中列出了主服务器应在其上启动备份主进程的主机，每行一台主机。
hadoop-metrics2-hbase.properties
用于连接 HBase Hadoop 的 Metrics2 框架。默认情况下只包含注释出的示例。
hbase-env.cmd and hbase-env.sh
用于 Windows 和 Linux/Unix 环境的脚本，以设置 HBase 的工作环境，包括 Java、Java 选项和其他环境变量的位置。该文件包含许多注释示例来提供指导。
hbase-policy.xml
RPC 服务器使用默认策略配置文件对客户端请求进行授权决策。仅在启用 HBase安全模式下使用。
hbase-site.xml
主要的 HBase 配置文件。该文件指定覆盖 HBase 的默认配置的配置选项。您可以在 docs/hbase-default.xml 中查看（但不要编辑）默认配置文件。您还可以在 HBase Web UI 的 HBase 配置选项卡中查看群集的整个有效配置（默认和覆盖）。
log4j.properties
通过log4j进行 HBase 日志记录的配置文件。
regionservers
包含应该在 HBase 集群中运行 RegionServer 的主机列表的纯文本文件。默认情况下，这个文件包含单个条目localhostt。它应该包含主机名或 IP 地址列表，每行一个，如果集群中的每个节点将在其localhost接口上运行 RegionServer 的话，则只应包含localhost

リアルタイムのストリーミングを計算するために、よりリアルタイム計算、HBaseの、FLINK、カフカやその他の関連技術ボーエン、歓迎の注意

ファイル