HUEのconfigureのHadoop

 

HDFSの設定

参照文献:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html

 

Hadoopの設定ファイルが変更されました

HDFS-site.xmlの

<プロパティ>
  <名前> dfs.webhdfs.enabled </名前>
  <値>真</ value>の
</プロパティ>

コア - site.html

<プロパティ>
  <名前> hadoop.proxyuser.hue.hosts </名前>
  <値> * </ value>の
</プロパティ>
<プロパティ>
  <名前> hadoop.proxyuser.hue.groups </名前>
  <値> * </ value>の
</プロパティ>

 

HUEは設定ファイルを変更します

[[hdfs_clusters]]、[[[デフォルト]]]

fs_defaultfs = HDFS:// MYCLUSTER

webhdfs_url =のhttp://ノード1:50070 / webhdfs / V1

hadoop_bin =は/ usr / Hadoopの-2.5.1 / binに

HADOOP_CONF_DIR =は/ usr / Hadoopの-2.5.1の/ etc / Hadoopの

HDFSを起動し、色相を再起動します

 

Webアクセス

 

ソリューション:

デフォルトのユーザー・アクセスHDFSを変更

構成を変更しhue.ini

default_hdfs_superuser = HDFS

変更

default_hdfs_superuser =ルート

再起動色相

 

HDFSは、追加、削除、変更、および他の操作、HUEのファイルブラウザファイルで操作することができます。

しかし、内容が異常であるファイルを変更し、ログファイルを表示します。

 

ソリューション:

1、HDFS許可検証を閉じました

HDFS-site.xmlの

<プロパティ>

          <名前> dfs.permissions.enabled </名前>

    <value>は偽</ value>の

</プロパティ>

HDFSと色相を再起動する必要があります

図2は、色相に色相をrootユーザーを作成し、ルートとしてログインします。

 

毛糸の設定

HUEは設定ファイルを変更します

[[yarn_clusters]]、[[[デフォルト]]]

resourcemanager_host =ノード1

resourcemanager_port = 8032

submit_to =真

resourcemanager_api_url =のhttp://ノード1:8088

HUEサービスの再起動

テストプログラムを実行しますworkcout

Hadoopのジャー/usr/hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar WORDCOUNT /テスト/ WC /入力/ OUT1

 

HDFSの設定

参照文献:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html

 

Hadoopの設定ファイルが変更されました

HDFS-site.xmlの

<プロパティ>
  <名前> dfs.webhdfs.enabled </名前>
  <値>真</ value>の
</プロパティ>

コア - site.html

<プロパティ>
  <名前> hadoop.proxyuser.hue.hosts </名前>
  <値> * </ value>の
</プロパティ>
<プロパティ>
  <名前> hadoop.proxyuser.hue.groups </名前>
  <値> * </ value>の
</プロパティ>

 

HUEは設定ファイルを変更します

[[hdfs_clusters]]、[[[デフォルト]]]

fs_defaultfs = HDFS:// MYCLUSTER

webhdfs_url=http://node1:50070/webhdfs/v1

hadoop_bin=/usr/hadoop-2.5.1/bin

hadoop_conf_dir=/usr/hadoop-2.5.1/etc/hadoop

启动hdfs、重启hue

 

访问Web

 

解决方法:

修改默认的hdfs访问用户

修改hue.ini中的配置

default_hdfs_superuser=hdfs

改为

default_hdfs_superuser=root

重启hue

 

可以通过HUE的 文件浏览器 来操作hdfs的文件,进行增、删、改、查等操作。

但是修改文件内容是出现异常,查看日志文件:

 

解决方法:

1、 关闭hdfs的权限验证

hdfs-site.xml

<property>

          <name>dfs.permissions.enabled</name>

    <value>false</value>

</property>

需要重启hdfs和hue

2、 在hue中创建root用户,并以root用户登录hue。

 

Yarn配置

HUE配置文件修改

[[yarn_clusters]] [[[default]]]

resourcemanager_host=node1

resourcemanager_port=8032

submit_to=True

resourcemanager_api_url=http://node1:8088

重启HUE服务

运行workcout程序进行测试

hadoop jar /usr/hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /test/wc/input /out1

 

おすすめ

転載: www.cnblogs.com/liuys635/p/11407589.html