使用docker 快速搭建一个 hive 的服务器(2)

版权声明:本文为博主原创文章,未经博主允许不得转载。博主地址:http://blog.csdn.net/freewebsys https://blog.csdn.net/freewebsys/article/details/82191092

1,关于hive


hive是一个类似sql的大数据处理框架。底层还是map reduce。
自己本地想要执行测试些sql 语句啥的,主要是方便学习。
要折腾一个下,还是docker 方便。找一个 centos 的基础镜像。
然后 用 cdh 进行安装 hive。
https://blog.csdn.net/freewebsys/article/details/82048311

2,使用docker构建


首先要创建一个 CentOS-Base.repo 文件。
阿里云默认把这个文件的两个域名访问不了。
yum 源 有 mirrors.aliyun.com (外网) 和 mirrors.aliyuncs.com(内网)

自己得删除掉 , aliyuncs 的域名。

# CentOS-Base.repo
[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#released updates 
[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#contrib - packages by Centos Users
[contrib]
name=CentOS-$releasever - Contrib - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/contrib/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

然后配置dockerfile:

FROM docker.io/centos:7

ADD CentOS-Base.repo /etc/yum.repos.d
RUN curl -o /etc/yum.repos.d/cloudera-cdh5.repo \
https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/cloudera-cdh5.repo && \
    rpm  -import  http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7    && \
    rpm --import https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/RPM-GPG-KEY-cloudera    && \
    sed -i -e 's/enabled=1/enabled=0/g'  /etc/yum/pluginconf.d/fastestmirror.conf && \
    yum install -y java-1.8.0-openjdk hive && yum clean all

构建一个cdh-hive 镜像

docker build -t cdh-hive .

漫长的,构建成功:

REPOSITORY                 TAG                 IMAGE ID            CREATED             SIZE
cdh-hive                   latest              fda5256cb18e        5 hours ago         1.23GB

3,总结


docker 使用 centos 安装cdh 的hive ,最优雅的方式安装。
重点在于学习 hive 的语法,sql 。真正的弄起来,有运维大哥帮忙。
开发还是做业务分析的好。折腾起来就可以学习hive了。
主要还是aliyun 删除掉内网的地址就可以啦。方便了。

本文的原文连接是:
https://blog.csdn.net/freewebsys/article/details/82191092

博主地址是:http://blog.csdn.net/freewebsys

猜你喜欢

转载自blog.csdn.net/freewebsys/article/details/82191092