マックOSXシステムのHadoop / Hiveの火花のインストールと設定環境レコード

その他 2019-11-30 14:52:00 訪問数: null

マックOSXシステムのHadoop / Hiveの火花のインストールと設定環境レコード
 
 
Hadoopの2.6インストールおよび構成（擬似分散）
  1. ダウンロードして解凍
  2. 設定の.bash_profile：
    1. 輸出HADOOP_HOME = /ユーザ/ファン/アプリケーション/ Hadoopの-2.6.0
    2. 輸出PATH = $ HADOOP_HOME / binに：$ HADOOP_HOME / sbinに：$ PATH
  4. HDFSの設定： 
    1. など/ Hadoopの/コア-site.xmlに：
      <設定>
          <プロパティ>
              <名前> fs.defaultFS </名前>
              <値> HDFS：// localhostを：9000 </ value>の
          </プロパティ>
      </設定>
       
      など/ Hadoopの/ HDFS-site.xmlを：
      <設定>
          <プロパティ>
              <名前> dfs.replication </名前>
              <値> 1 </値>
          </プロパティ>
      </設定>
      ノードと名前ノード管理データノードとの間のデータの転送を容易にするために、SSH自動ログインを設定します
      1. Macの場合：設定 - > share->、リモートログインを有効にするファイル共有を有効にします
      2. 他人 

        1. セットアップpassphraselessのSSH

          今、あなたはパスフレーズなしでローカルホストへのSSHできることを確認してください。
            $ sshのはlocalhost
           
          パスフレーズなしでlocalhostにsshをすることができない場合は、次のコマンドを実行します。
            $ sshの-keygenは-t dsaを-P '' -fの〜/ .ssh / id_dsaに
            $猫の〜/ .ssh / id_dsa.pub >>の〜/ .ssh / authorized_keysに
            $ chmodの0600の〜/ .ssh / authorized_keysに
           
  6. スタートHDFS：
    1. ビン/ HDFS名前ノード-format
    2. Start-dfs.sh 
  8. HDFSは、Web UIの管理ページをテストします。
    1. 50070ポート管理分散ファイルシステムHDFS
  10. 設定YARN：
    1. などの設定パラメータは次のとおりです。など/ Hadoopの/ mapred-site.xmlのを：
      <設定>
          <プロパティ>
              <名前> mapreduce.framework.name </名前>
              <値>糸</値>
          </プロパティ>
      </設定>
       
      など/ Hadoopの/糸-site.xmlに：
      <設定>
          <プロパティ>
              <名前> yarn.nodemanager.aux-サービス</名前>
              <値> mapreduce_shuffle </ value>の
          </プロパティ>
      </設定>
       
  12. スタートYARN：
    1. sbinに/ start-yarn.sh
       
  14. テストYARNのウェブUIの管理ページ：localhostを：8088 /
 
Start-dfs.sh起動時の問題：
  1.  あなたはハイブ起動時に名前ノードを開始することができません、ないエラーメッセージ表示されます 
  2. Connecting to ResourceManager at /0.0.0.0:8032
    java.net.ConnectException: Call From marta-komputer/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
   以下の特定の問題にトレース、/Users/fan/Applications/hadoop-2.6.0/logs/hadoop-fan-namenode-MacBook.log：理由は、あなたはのstart-dfs.shを表示するログファイルを使用することができ、起動に失敗した名前ノードであります：
格納ディレクトリ（Hadoopの/ HDFS /データ/）が存在しないか、アクセスできません：Hadoopの/ HDFS /名前が矛盾した状態にあります
 
ソリューション： 
 

 

  1. [CORRECT HDFS-SITE.XML] 
  <プロパティ>
  <名前> dfs.namenode.name.dir </名前>
  <値> /ホーム/ hduser / mydataという/ HDFS /名前ノード</ value>の
  </プロパティ>
 
 
  <プロパティ>
  <名前> dfs.datanode.data.dir </名前>
  <値> /ホーム/ hduser / mydataという/ HDFS /データノード</ value>の
  </プロパティ>
  1.  ファイル名を指定して実行のHadoop名前ノードの-format形式ターゲットディレクトリ
  2. Start-dfs.shスタートHDFS
 
 
 
 
 
ハイブ2.1.1インストールと設定：
 
  1. ダウンロード
  2. .bash_profileの設定ファイル：  
    1. 輸出HIVE_HOME = XXX
    2. エクスポートPATH = $ HIVE_HOME / binに：$ PATHに
  4. ハイブ-site.xmlの：ハイブ-default.xmlの-template.xml confディレクトリ名の変更をコピーします。
  5. ハイブ-site.xmlのを変更し、設定さschematool -dbTypeのMySQL -initSchema初期メタデータ対応ツール構成メタストア
    1. ドライバに関連するハイブ-site.xmlのテーブルMySQLの接続構成を変更します。
      1. URL：DRIVERNAMEのMySQLユーザーパスワードなどは、を参照してください。 
      2. libディレクトリにダウンロードのmysql-のconnector.jar
    3. 起動し、MySQLサービスを変更
  7. ファイル名を指定して実行：schematool -dbType mysqlの-initSchema
  8. ：ハイブ-site.xml構成変更   http://stackoverflow.com/questions/27099898/java-net-urisyntaxexception-when-starting-hiveを
    1. <名前> hive.exec.scratchdir </名前>
      <値> / TMP /ハイブ - $ {user.name} </値>
       
      <名前> hive.exec.local.scratchdir </名前>
      <値> / TMP / $ {user.name} </値>
       
      <名前> hive.downloaded.resources.dir </名前>
      <値> / TMP / $ {user.name} _resources </値>
       
      <名前> hive.scratch.dir.permission </名前>
          <値> 733 </ value>の
  10. ハイブテストを開始
 
 
Spark2.1.0-hadoop2.6インストール：
 
  1.    ダウンロード
  2. 增加輸出spark_classpath = mysql.connector.xxx.jar
  3. 次の火花にディレクトリにハイブハイブ-site.xml構成ファイルをコピーします。
  4. 启动火花シェル测试发现：MetaException（メッセージ：ハイブスキーマバージョン1.2.0メタストアのスキーマバージョン2.1.0メタストアがアップグレードまたは破損されていないと一致しない）によってaused
  5. 解決策：設定を変更します。  https://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/bk_releasenotes_ambari_2.2.2.0/content/ambari_relnotes-2.2.2.0-known-issues.html
  6. 正常に実行するには火花シェル。
あなたは使用することができます    
 
 
 
起動し、使用したMacシステムでHBaseのインストール構成
 
  1. ダウンロード
  2. 〜/アプリケーションディレクトリへのcp
  3. JavaのホームのHbase-env.sh設定：輸出JAVA_HOME = /ユーザ/ファン/ .jenv /バージョン/ 1.8
  4. HBaseの-site.xml構成ファイル：
    1.   <プロパティ>
    2.                  <名前> hbase.cluster.distributed </名前>
    3.                  <値>真</ value>の
    4.         </プロパティ>
    6.         <プロパティ>
    7.                  <名前>> hbase.rootdir </名前>
    8.                  <値> HDFS：// localhostを：9000 /ユーザー/ HBaseの</ value>の
    9.         </プロパティ>
  6. HBaseのHDFS用のフォルダを作成しますHadoopのFS -mkdir /ユーザー/ HBaseのを。  
  7. 設定の環境変数：
    1. 輸出HBASE_HOME = /ユーザ/ファン/アプリケーション/ HBaseの-1.2.4
    2. 輸出PATH = $ HBASE_HOME / binに：$ PATHに
  9. スタートは、HBaseの： 
    1. zkServer.sh開始 
    2. Start-hbase.sh
    3. hbase-daemon.shスタート倹約（パイソン便利な接続） 
    4. HBaseのシェル（CLI環境）
  11. ビューUIのWeb：   HTTP：// localhostを：16010 /マスターステータス
  12. HBaseのCLI：HBaseのシェル
 
飼育係のインストール構成と使用
 
  1. 構成：CPのconf / zoo_sample.cfg confに/ zoo.cfg
  2. スタート
    1. zkServer.sh開始
  4. 停止：  
    1. zkServer.sh停止
  6. シェル：
    1. zkCli.sh
 
 
 
カフカのインストール構成と使用
 
  1. ダウンロード
  2. アプリケーションディレクトリにコピー
  3. インストールし、依存飼育係を設定しました。
  4. 環境変数を設定します。
    1. KAFKA_HOME =
  6. カフカ起動し、生産者と消費者をテスト
    1. 飼育係のサービスを開始します。
      カフカは、まずスタートZookperの、単にZookkeeper以下のサービスの単一のインスタンスを有効、飼育係を使用しています。あなたが始めることができるようにするには、コマンドコンソールのアドオン＆シンボルの終了後に残すことができます。
      1. > binに/ zookeeper-server-start.shのconfig / zookeeper.properties＆
      2. 設定/ zookeeper.properties（org.apache.zookeeper.server.quorum.QuorumPeerConfig）：2013年4月22日15：01：37495]からINFOリーディング構成
      3. ...
      2.次にカフカを開始します。
      1. > binに/ kafka-server-start.shのconfig / server.properties
      2. 【2013年4月22日15：01：47028] INFO確認特性（kafka.utils.VerifiableProperties）
      3. 【2013年4月22日15：01：47051] INFOプロパティsocket.send.buffer.bytesは1048576にオーバーライドされる（kafka.utils.VerifiableProperties）
      4. 。
      3：作成トピック
       
      話題の一つと呼ばれる「テスト」を作成し、それが唯一のパーティション、コピーです。
      1. >ビン/ kafka-topics.sh --create --zookeeperはlocalhost：2181 --replication因子1 --partitions 1つの--topic試験
      あなたは、listコマンドで作成されたトピックを表示することができます。
      1. > binに/ kafka-topics.sh --list --zookeeperはlocalhost：2181
      2. テスト
       
      手動トピックを作成するだけでなく、それが自動的にブローカーのトピックを作成するように設定することができます。
       
      4：送信メッセージ。
       
      カフカは、単純なコマンドライン・プロデューサを使用して、またはメッセージは、サーバから送信される標準入力ファイルから読み取ります。メッセージを送信するには、各コマンドをデフォルト。
       
      いくつかの実行プロデューサーとコンソールメッセージを出力するには、これらのメッセージは、サーバーに送信されます。
      1. > binに/ kafka-console-producer.sh --brokerリストはlocalhost：9092 --topicテスト 
      2. これは、別のメッセージmessageThisです
      終了するにはCtrl + Cを送ります。
       
      5：スタートコンシューマー
       
      カフカは、標準出力にメッセージをダンプするコマンドラインの消費者を持っています。
      カフカは、メッセージを読み、標準出力にすることができ、コマンドラインの消費者があります。
      1. > binに/ kafka-console-consumer.sh --zookeeperはlocalhost：2181 --topicテスト--from-始まり
      2. これはメッセージです
      3. これは別のメッセージであります
      あなたは、コマンドライン端末、別の端末の実行プロデューサーコマンドラインで消費者を実行し、入力メッセージがターミナルすることができ、別の端末にメッセージを読み込みます。
      どちらのコマンドは、自分自身のオプションのパラメータを持って、実行時に任意のパラメータの助けを借りずに見ることができます。
       
 

おすすめ

転載: www.cnblogs.com/ToDoToTry/p/11962226.html
おすすめ
NetBSD は AI によって生成されたコードの提出を禁止します
ランキング
C＃の変数インスタンス、クレジット・カードケース
通过uniCloud白捡一个在线图库管理工具
Linuxのいくつかの基本的なコマンドに関する洞察（20ベース）
vueエントリーの基礎知識、コア知識をマスターするならこの記事で十分
食品化学クエスチョンバンク
CentOSの7制御システムは、ファイルを占めます
単一の el-form 内の el-form-item テキストの左揃えを解決する方法
ノードJSベースノート
関数にSQL Serverの文字列：
sparksql_相関分析
アーカイブ
もっと
2024-05-18(30)
2024-05-17(6)
2024-05-16(24)
2024-05-15(5)
2024-05-14(9)
2024-05-13(8)
2024-05-12(27)
2024-05-11(31)
2024-05-10(33)
2024-05-09(30)

コードワールド

© 2018 codetd.com