HUE4.3安装配置

HUE简介

Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，用Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。

由于工作需要，最近研究了一下hue的安装配置、使用、编码调试，网上资料比较少，现将本人实际安装步骤记录一下分享出来，希望对需要的同学有所帮助。

实验环境

操作系统：CentOS-7-x86_64-Minimal-1708 （1C2G）
Git：1.8.3.1
JDK：jdk-8u171-linux-x64
Maven：apache-maven-3.3.9-bin
MySQL：5.7.17
Python：2.7
Kerberos：1.15.1（可选）
Hue：4.3

环境准备

关闭防火墙

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动

配置hosts

/etc/hosts配置文件中添加hiveServer2实例所在主机的主机名、IP配置项

10.250.80.43  gz-cashloan-test-app26-80-43.itclj.host

安装git

hue源码托管在github上，用git把它拉下来，后续更新代码也方便。

yum install git

安装JDK

mkdir /usr/java

上传下载好的jdk-8u171-linux-x64.tar.gz到/usr/java目录
解压jdk安装包

tar -zxvf jdk-8u171-linux-x64.tar.gz

配置环境变量

vim /etc/profile

/etc/profile中添加下面配置项

export  JAVA_HOME=/usr/java/jdk1.8.0_171
export  PATH=$JAVA_HOME/bin:$PATH
export  CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

刷新环境变量使配置立即生效

source /etc/profile

检查JDK是否配置成功

java -version

安装Maven

maven依赖java环境，所以安装maven前先安装好jdk。

在/usr/java下创建目录/maven

mkdir /usr/java/maven

在/usr/java/maven下创建/repository目录，
用于存放maven下载的包。

mkdir /usr/java/maven/repository

上传下载好的apache-maven-3.3.9-bin.zip到/usr/java/maven
解压maven安装包。

unzip apache-maven-3.3.9-bin.zip

修改/usr/java/maven/apache-maven-3.3.9/conf/settings.xml配置文件的localRepository配置项，
指定maven下载包存放路径为/usr/java/maven/repository。

<localRepository>/usr/java/maven/repository</localRepository>

配置环境变量，在/etc/profile中添加下面配置项

export MAVEN_HOME=/usr/java/maven/apache-maven-3.3.9
export PATH=$MAVEN_HOME/bin:$PATH

刷新环境变量使配置立即生效

source /etc/profile

检查maven是否配置成功

mvn --version

mvn version

安装python

hue采用python2.7编写，所以需要安装python2.7。

下载安装包

wget https://www.python.org/ftp/python/2.7.14/Python-2.7.14.tgz

解压安装包

tar -xzvf Python-2.7.14.tgz

安装python编译需要的依赖

yum -y install gcc gcc-c++ libstdc++-devel

编译安装python

cd Python-2.7.14
./configure
 make all
 make install
 make clean
 make distclean

检查python安装是否成功

python --version

mysql安装

hue需要一个关系型数据库来存放自身的管理信息，可以是mysql、oracle、postgresql、sqlite3，
我们选择mysql，mysql服务和hue服务可以不在同一台服务器上。mysql的安装网上很多，照着
步骤安装即可。

安装配置Kerberos

ive等组件如果开启了kerberos认证，hue所在服务器需要安装kerberos

安装Kerberos client

yum install krb5-workstation krb5-libs

配置kerberos kdc
配置文件/etc/krb5.conf中
[realms]配置项加kdc服务地址

ITCLJ.HOST = {
                kdc = gz-cashloan-test-app26-80-43.itclj.host
                admin_server = gz-cashloan-test-app26-80-43.itclj.host
        }

[libdefaults]配置项设置默认realms

default_realm = ITCLJ.HOST

HUE安装

应用类服务一般用专有账号启动，我们建立一个hue用户和用户组。

groupadd hue
useradd -g hue hue

切换hue用户下，进入hue的home目录/home/hue。
下载源码

git clone  https://github.com/cloudera/hue.git

安装编译hue需要的依赖，这里非常注意，否则编译hue的时候会找不到依赖包，由于系统版本的问题，执行了下面依赖安装后，可能还缺少依赖，到时候自己根据自己的实际情况安装依赖。

yum install ant \
 asciidoc \
 cyrus-sasl-devel \
 cyrus-sasl-gssapi \
 cyrus-sasl-plain \
 gcc gcc-c++ \
 krb5-devel \
 libffi-devel \
 libxml2-devel \
 libxslt-devel \
 make  openldap-devel \
 python-devel \
 gmp-devel \
 mysql-devel \
 sqlite-devel  \
 openssl \
 openssl-devel

编译hue，进入/home/hue/hue执行，需要在root用户下执行编译hue，进入/home/hue/hue执行，需要在root用户下执行

make apps

修改配置

修改/home/hue/hue/desktop/conf/pseudo-distributed.ini
基础配置

[desktop]
       # 安全秘钥，存储session的加密处理
       secret_key=malsjljljwrlwerwel
       # 不启用的模块
       app_blacklist=impala,security,filebrowser,jobbrowser,rdbms,jobsub,pig,hbase,sqoop,zookeeper,metastore,spark,oozie,indexer

配置数据库

[[database]]
       # 数据库引擎类型
       engine=mysql
       # 数据库主机地址
       host=10.16.70.133
       # 数据库端口
       port=3306
       # 数据库用户名
       user=root
       # 数据库密码
       password=123456
       # 数据库库名
       name=hue

配置hive
hue主要用于hive的交互式查询，在hue所在服务器新建/home/hue/hive/conf目录，
把hiveService2的hive-site.xml配置文件复制到该目录下。

[beeswax]
    # hiveServer2 服务地址(填主机名，kerberos要用)
    hive_server_host=gz-cashloan-test-app26-80-43.itclj.host
    #hiveServer2服务端口
    hive_server_port=10000
    #hiveServer2 hive-site.xml配置文件存放位置
    hive_conf_dir=/home/hue/hive/conf

配置kerberos（如果开启了kerberos认证需要配置）

[[kerberos]]
       # kerberos keytab秘钥文件
       hue_keytab=/home/hue/kerberos/hive.keytab
       # kerberos principal 
       hue_principal=hive/[email protected]
       # kerberos 认证缓存文件
       ccache_path=/home/hue/kerberos/cache/hue_krb5_ccache

MySQL初始化

在mysql数据库上建一个名为hue的库，然后执行如下命令

build/env/bin/hue syncdb
build/env/bin/hue migrate

初始化后的表
mysql init

启动服务

build/env/bin/supervisor &

验证

服务启起来后，默认服务端口为8000

http://192.168.86.160:8000

hue

参考