大数据Day05-mysql安装与Hive安装

1.CentOS7安装Mysql:
cd /opt/
sudo yum install wget
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
sudo yum install mysql-community-server

上述命令会安装以下包:
apparmor
mysql-client-5.7
mysql-common
mysql-server
mysql-server-5.7
mysql-server-core-5.7

启动和关闭mysql服务器:
service mysql start
service mysql stop


确认是否启动成功,mysql节点处于LISTEN状态表示启动成功:
sudo netstat -tap | grep mysql

出现LISTEN说明启动成功

进入mysql shell界面:
mysql -u root -p


2.
Mysql常用命令:

解决利用sqoop导入MySQL中文乱码的问题(可以插入中文,但不能用sqoop导入中文)
导致导入时中文乱码的原因是character_set_server默认设置是latin1,
显示编码格式
show variables like "char%";
修改编码格式
set character_set_server=utf8;
显示数据库
show databases;
使用数据库
user mysql;
显示数据库
show tables;
显示数据表结构
describe user;
显示表中的记录
select * from 表名
创建数据库
create database aaa;
使用数据库aaa
use aaa;
创建表person
create table person(id int(3) auto_increment not null primary key,
xm varchar(10),xb varchar(2),csny date);

插入一条数据
insert into person values(null,'zhangsan','m','2018-8-24');

insert into person values(null,'lisi','f','2018-8-23');

查询出person表中所有的数据
select * from person;

修改xm=lisi的csny字段
select * from person;
update person set csny='2018-08-22' where xm='lisi';
select * from person;

删除张三那条数据
select * from person;
delete from person where xm='zhangsan';
select * from person;

删除表
show tables;
drop table person;
show tables;

删除数据库
show databases;
drop database aaa;
show databases;


显示mysql数据库版本
show variables like 'version';

select version();

3.安装Hive
3.1:首先上传apache-hive-1.2.1-bin.tar.gz到Master5的/opt/目录下
Master5:
cd /opt/

解压到指定/usr/local文件夹下
sudo tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local/
cd /usr/local/
重命名apache-hive-1.2.1-bin为hive
sudo mv apache-hive-1.2.1-bin hive
修改hive文件夹以及子文件夹下所有文件的权限
sudo chown -R hadoop:hadoop hive

3.2:配置环境变量
vi ~/.bashrc

在文件末尾加入:

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin

生效配置文件
source ~/.bashrc

3.3:修改/usr/local/hive/conf下的hive-site.xml,将hive原来自带的derby改成mysql

cd /usr/local/hive/conf
重命名
mv hive-default.xml.template hive-default.xml

编辑hive-site.xml
vi hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>username to use against metastore database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
    <description>password to use against metastore database</description>
  </property>
</configuration>


3.4:启动mysql数据库,新建hive数据库

mysql -u root -p

show databases;
//新建一个Hive数据库,这个Hive数据库与hive-site.xml文件中//localhost:3306/hive
的hive对应,用来保存hive元数据信息
create database hive;

3.5:配置mysql允许hive接入
将所有数据库的所有表的所有权限都赋给hive用户,后面的hive适配hive-site.xml中配置的连接密码
grant all on *.* to hive@localhost identified by 'hive';
刷新mysql系统权限关系表
flush privileges;

3.6:启动Hive
在启动Hive之前,先启动hadoop集群,但是咱们现在装的是伪分布式的hive配置,所以先将集群改成伪分布式:

停掉之前的分布式集群
Master5:
cd /opt/hadoop-2.7.2/sbin/
./stop-all.sh  (封装了stop-yarn.sh和stop-dfs.sh)
jps (保证只剩下一个jps进程)

cd /opt/dfs/
rm -rf *

hdfs namenode -format

cd /opt/hadoop-2.7.2/sbin/
./start-dfs.sh

jps(查看出来NameNode,DataNode, SecondaryNameNode)

cd /usr/local/hive/bin
启动Hive
./hive

hive常用HiveQL操作


创建、修改和删除数据库
创建数据库
create database if not exists hive;
显示hive中包含的数据库
show databases;
显示hive中以h开头的数据库
show databases like 'h.*';
使用hive数据库
use hive;
删除不包含表的数据库
drop database if exists hive;
删除数据库和它包含的表
drop database if exists hive cascade;

拓展研究任务:
1.HiveQL常用操作以及跟Mysql对比下常用操作区别+10分
2.分布式Hive如何搭建+10分
3.在分布式集群中加入从机slave2到集群
(注意:小组任务,整个过程用新建虚拟机slave2方式,
而且没做一步截图写入word文档)+30分
4.答辩个人表现+30分
5.平时考勤20分
6.平时成绩20分


 

猜你喜欢

转载自blog.csdn.net/weixin_40903057/article/details/84778496
今日推荐