HDFSの設定
参照文献:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html
Hadoopの設定ファイルが変更されました
HDFS-site.xmlの
<プロパティ>
<名前> dfs.webhdfs.enabled </名前>
<値>真</ value>の
</プロパティ>
コア - site.html
<プロパティ>
<名前> hadoop.proxyuser.hue.hosts </名前>
<値> * </ value>の
</プロパティ>
<プロパティ>
<名前> hadoop.proxyuser.hue.groups </名前>
<値> * </ value>の
</プロパティ>
HUEは設定ファイルを変更します
[[hdfs_clusters]]、[[[デフォルト]]]
fs_defaultfs = HDFS:// MYCLUSTER
webhdfs_url =のhttp://ノード1:50070 / webhdfs / V1
hadoop_bin =は/ usr / Hadoopの-2.5.1 / binに
HADOOP_CONF_DIR =は/ usr / Hadoopの-2.5.1の/ etc / Hadoopの
HDFSを起動し、色相を再起動します
Webアクセス
ソリューション:
デフォルトのユーザー・アクセスHDFSを変更
構成を変更しhue.ini
default_hdfs_superuser = HDFS
変更
default_hdfs_superuser =ルート
再起動色相
HDFSは、追加、削除、変更、および他の操作、HUEのファイルブラウザファイルで操作することができます。
しかし、内容が異常であるファイルを変更し、ログファイルを表示します。
ソリューション:
1、HDFS許可検証を閉じました
HDFS-site.xmlの
<プロパティ>
<名前> dfs.permissions.enabled </名前>
<value>は偽</ value>の
</プロパティ>
HDFSと色相を再起動する必要があります
図2は、色相に色相をrootユーザーを作成し、ルートとしてログインします。
毛糸の設定
HUEは設定ファイルを変更します
[[yarn_clusters]]、[[[デフォルト]]]
resourcemanager_host =ノード1
resourcemanager_port = 8032
submit_to =真
resourcemanager_api_url =のhttp://ノード1:8088
HUEサービスの再起動
テストプログラムを実行しますworkcout
Hadoopのジャー/usr/hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar WORDCOUNT /テスト/ WC /入力/ OUT1
HDFSの設定
参照文献:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html
Hadoopの設定ファイルが変更されました
HDFS-site.xmlの
<プロパティ>
<名前> dfs.webhdfs.enabled </名前>
<値>真</ value>の
</プロパティ>
コア - site.html
<プロパティ>
<名前> hadoop.proxyuser.hue.hosts </名前>
<値> * </ value>の
</プロパティ>
<プロパティ>
<名前> hadoop.proxyuser.hue.groups </名前>
<値> * </ value>の
</プロパティ>
HUEは設定ファイルを変更します
[[hdfs_clusters]]、[[[デフォルト]]]
fs_defaultfs = HDFS:// MYCLUSTER
webhdfs_url=http://node1:50070/webhdfs/v1
hadoop_bin=/usr/hadoop-2.5.1/bin
hadoop_conf_dir=/usr/hadoop-2.5.1/etc/hadoop
启动hdfs、重启hue
访问Web
解决方法:
修改默认的hdfs访问用户
修改hue.ini中的配置
default_hdfs_superuser=hdfs
改为
default_hdfs_superuser=root
重启hue
可以通过HUE的 文件浏览器 来操作hdfs的文件,进行增、删、改、查等操作。
但是修改文件内容是出现异常,查看日志文件:
解决方法:
1、 关闭hdfs的权限验证
hdfs-site.xml
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
需要重启hdfs和hue
2、 在hue中创建root用户,并以root用户登录hue。
Yarn配置
HUE配置文件修改
[[yarn_clusters]] [[[default]]]
resourcemanager_host=node1
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://node1:8088
重启HUE服务
运行workcout程序进行测试
hadoop jar /usr/hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /test/wc/input /out1