hue安装步骤+mysql元数据存储、hive、hadoop做集成

1. 使用yum工具来安装hue相关的依赖软件:
sudo yum install krb5-develcyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-developenldap-devel python-devel python-simplejson sqlite-devel
2. 下载hue软件包
cd /keduox
解压:tar -zxvf hue-4.0.1.tgz
cd hue-4.0.0
进行编译:make apps
 
如果报以下异常:需要安装相应环境

yum install -y libffi libffi-devel
 
src/_fastmath.c:36:18: 错误: gmp.h :没有那个文件或目录  
 yum install gmp-devel
 
然后重新编译 make apps
3. 相关配置
 
配置 hadoop
配置hdfs-site.xml
      
< property >
    < name > dfs.webhdfs.enabled </ name >
    < value > true </ value >
</ property >
配置 core-site.xml
<property>
 <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>
配置 httpfs-site.xml
<property>
  <name>httpfs.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>httpfs.proxyuser.hue.groups</name>
  <value>*</value>
</property>
 
配置 hue.ini
cd /keduox/hue-4.0.0/desktop/conf
vi hue.ini
修改配置
密钥:
secret_key = jFE93j;2[290-eiw.KEiwN2s3['d; / .q [ eIW ^ y # e = +Iei*@Mn<qW
时区:
time_zone = Asia/Shanghai
 
添加 mysql 设置
[[databases]] 下配置mysql属性

 
 
 
集成hive
hive_server_host=master
hive_server_port=10000
hive_conf_dir=/keduox/apache-hive-2.1.1-bin/conf
集成hadoop
fs_defaultfs=hdfs://master:9000
logical_name=master
webhdfs_url=http://master:50070/webhdfs/v1
hadoop_hdfs_home=/keduox/hadoop-2.6.5
hadoop_conf_dir=/keduox/hadoop-2.6.5/etc/hadoop
配置yarn
[hadoop].[[yarn_clusters]].[[[default]]]
resourcemanager_host=master
resourcemanager_port=8032
resourcemanager_api_url=http://master:8088
proxy_api_url=http://master:8088
集成hbase
[hbase] 节点下
hbase_clusters=(Cluster|master:9090)
hbase_conf_dir=/keduox/hbase-1.2.5/conf
 
4.启动
首先启动hadoop
start-all.sh
然后需要同时启动 hive metastore hiveserve2
nohup hive -- service metastore &
nohup hive -- service hiveserver2 &
Hue 需要读取 HBase 的数据是使用 thrift 的方式,默认 HBase thrift 服务没有开启,所有需要手动额外开启 thrift 服务。  
thrift service 默认使用的是 9090 端口,使用如下命令查看端口是否被占用
netstat -nl|grep 9090
启动 thrift service
hbase-daemon.sh start thrift
build/env/bin/hue runserver 192.168.200.200:8181
浏览器输入192.168.200.200:8181可进入hue界面
异常:
如果修改配置文件后,启动后无法进人hue界面,可能是配置文件被锁住了,或者hadoop、hive等服务没有启动起来
cd /keduox/hue-4.0.0/desktop/conf
ls –a
rm –rf hue.ini.swp
 
 
在hue界面看到如下异常,导致hive无法使用

安装插件:
yum install cyrus-sasl-plain  cyrus-sasl-devel  cyrus-sasl-gssapi
 
#解决hue ui界面查询中文乱码问题
在[[[mysql]]]节点下
options={ "init_command":"SET NAMES 'utf8'"}
 
2.解决数据库被锁住问题
参考文章:
 
database is locked
 
hue 默认使用 sqlite 作为元数据库,不推荐在生产环境中使用。会经常出现 database is lock 的问题。
更改为使用mysql作为元数据库
首先在mysql中创建数据库 hue
然后修改hue.ini配置文件
在[[database]]节点下(注意跟上面配mysql不是同一个节点)

cd /keduox/hue-4.0.0/build/env
bin/hue syncdb
bin/hue migrate
 


最后进入hue界面:http://192.168.200.200:8181

 

解决hue查询乱码问题,添加红色内容:
[[databases]]
[[[mysql]]]
nice_name="My SQL DB"
engine=mysql
host=192.168.200.200
port=3306
user=root
password=123456
options={"init_command":"SET NAMES 'UTF8'"}

猜你喜欢

转载自blog.csdn.net/hexinghua0126/article/details/80338779