1、HIVE
1、交互命令
use db_name; create database db_name //创建数据库 create database if not exists db_name //创建不存在的数据库 create database db_name location '/database/' //指定位置上创建数据库 show databases; show databases like 'f.*'; //模糊查询 drop database db_name drop database db_name cascade; //当数据库中有表，必须使用cascade
2、Hive操作
①数据库
use db_name; create database db_name //创建数据库 create database if not exists db_name //创建不存在的数据库 create database db_name location '/database/' //指定位置上创建数据库 show databases; show databases like 'f.*'; //模糊查询 drop database db_name drop database db_name cascade; //当数据库中有表，必须使用cascade
②数据表
1、管理表：在删除表的时候，会同时把表中对应的数据删除； 2、外部表：在删除表的时候不会删除表中对应的数据，而只会删除表中的元数据信息； 3、分区表：Hive的分区就是分目录，把一个大的数据集拆分成一个个小的数据集，独立保存在不同的我文件夹中。 在查询的时候可以通过where子句进行查询,提高查询效率。 4、分桶：将一个文件分成几个小文件（基本没啥用）。 ———————————————————————————————————————————————————————————— 1、管理表（内部表），外部表 ———————————————————————————————————————————————————————————— create table t1(id int,name string) row format delimited fields terminated by '\t'; //创建一个分隔符为\t的管理表 create external table t1(id int,name string) row format delimited fields terminated by '\t'; //创建一个分隔符为\t的外部表 ———————————————————————————————————————————————————————————— 2、分区表 ———————————————————————————————————————————————————————————— create table t1(id int ,name string) partitioned by (day string) row format delimited fields terminated by '\t'; create table t4( id int , name string ) partitioned by (month string,day string) row format delimited fields terminated by '\t'; //创建二级分区 select * from t1 where day='16'; select * from t1 where month='1' and day='16'; //查询二级分区内容 show partitions t1; //显示表t1的分区 ①分区类型: 静态分区：加载数据时指定分区的值 load data local inpath '/home/1.txt' into table t1 partition (sex='woman'); 动态分区：数据未知，需要根据分区的值来确定需要创建的分区 insert overwrite table t1 partition(sex='man',dt) //把t1中的数据分一个sex='man'的区 混合分区：静态和动态都有
③通用命令
create table if not exists t2 like t1; //创建同一结构的表 alter table t1 add columns(value1 string,value2 string); //增加列 alter table t1 replace columns(value3 string,value4 string); //替换列 alter table t1 add partition(day='17'); //增加分区 alter table t1 drop partition(day='17'); desc t1； //查看表结构 show tables; show functions; //显示hive函数 drop table t1; truncate table t1; //清空表的数据 ———————————————————————————————————————————————————————— ①数据导入导出： ———————————————————————————————————————————————————————— 语法： load data [local] inpath '/data/student.txt' [overwrite] into table student [partition(day='16')]; insert [overwrite] [directory 'url' | local directory 'url' | table tablename] HQL; insert into t1(id,name) value(1,'asd'); insert into t1 partition(month='201916')values(90,'bangzhang'); load data inpath '/home/bigdata' into table hive.dep; //把hdfs上的文件剪切到dep的表中,如果文件存在，则追加内容 load data inpath '/home/bigdata' overwrite into table hive.dep; //把hdfs上的文件剪切到dep的表中,如果文件存在，则覆盖 load data local inpath '/home/bigdata' overwrite into table hive.dep; //把本地文件传到hive数据库的dep的表中 load data local inpath '/data/1.txt' into table hive.t1 partition(day='16'); //加载数据到分区表 load data local inpath '/data/dept.txt' into table hive.t2 partition(month='1',day='16'); //加载数据到二级分区 insert overwrite table t2 select * from t1; //从t1挑选数据重写到t2 insert overwrite directory '/aaa/bbb/' select *from t_p; //将挑选出来的数据写到hdfs目录下 insert overwrite local directory '/home/hadoop/test' select *from t_name; //将挑选出来的数据写到本地目录下 hdfs dfs -get /user/hive/warehouse/student4/student.txt /data/student5.txt； //通过hdfs进行导出
④HQL语句（排序）
order by：全局排序 //全局排序，适用于一个reduce distribute by ：指定字段分区 //必须设置reduce个数，不然只会有一个reduce，一个分区 sort by：reduce排序 partition by ：用于窗口函数中 cluster by:当分区字段和排序字段相同时，可以用cluster by clustered by：分桶关键字 select * from t1 order by sal DESC,deptno ASC; //全局排序，适用于一个reduce set mapreduce.job.reduces=3; //设置reduce个数，默认为1，系统默认reduce个数为分区个数 select * from t1 distribute by deptno sort by id DESC; //distribute by 分区 //sort by 排序 select classID,SUM(grade) over(partition by classID) fromtb_Student //窗口函数：over关键字 select mid, money, name from store cluster by mid ==> select mid, money, name from store distribute by mid sort by mid
⑤窗口函数
窗口函数：row_number、rank、dense_rank 1 a 10 2 a 12 3 b 13 4 b 12 5 a 14 6 a 15 7 a 13 8 b 11 9 a 16 10 b 17 11 a 14 select id,name,sal, rank()over(partition by name order by sal desc ) rp, dense_rank() over(partition by name order by sal desc ) drp, row_number()over(partition by name order by sal desc) rmp from f_test
b 17 1 1 1 b 13 2 2 2 b 12 3 3 3 b 11 4 4 4 a 16 1 1 1 a 15 2 2 2 a 14 3 3 3 a 14 3 3 4 a 13 5 4 5 a 12 6 5 6 a 10 7 6 7 可以发现，窗口函数就是多了一列的排名列 partition by name order by sal desc <==> distribute by name sort by id desc 也就是说：partition by 和 distribute by等价，但是后面是order by 而不是sort by 窗口函数：LAG和LEAD：增加一列，列的值就是前（后）一行的某一列的值 窗口函数：first_value和last_value first_value取分组内排序后，截止到当前行，第一个值 last_value取分组内排序后，截止到当前行，最后一个值
⑥自定义正则输入
注：有时候数据并非是用 '\t' 进行分割，就需要自己清洗。 CREATE TABLE apachelog ( host string, identity string, agent string )row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe' //以正则的方式建表 WITH SERDEPROPERTIES ( "input.regex" = "([^]*) ([^]*) ([^]*)" //用正则提取，每个（）表示一个字段，里面是正则表达式 ) stored as textfile ;
⑦自定义HIVE函数
注：经过上一步之后，字段中保存的是“31/Aug/2015:00:04:37 +0800”，我们希望在select能将它变为2015-08-31 00:04:37这种标准格式。 public class TestUDF extends UDF{ public String evaluate(String time) throws ParseException { String output=null; SimpleDateFormat inputDate=new SimpleDateFormat("dd/MM/yyyy:HH:mm:ss",Locale.ENGLISH); SimpleDateFormat outputDate=new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); if(time==null) { return null; } if(StringUtils.isBlank(time)) { return null; } String pares=time.replaceAll("\"", ""); Date parseDate=inputDate.parse(pares); output=outputDate.format(parseDate); return output; } } 注：UDF是HIVE自定义函数的类。 1、重写evaluate方法。 2、打包成jar，上传到linux 3、add jar /data/myudf.jar; //hive命令行 4、create temporary function my_upper as "org.udf.test.Lower"; //给函数取名，并且关联包中的类 5、select my_upper(name) as name from student7; //调用 自定义函数是非常重要的，对于很多数据，用函数对其清洗，使其规律化。
⑧压缩
和MR一样，都有压缩，分为map端压缩和reduce端压缩，可以在配置文件中设置。
注：为了减少网络传输，将map产生的分区文件进行压缩，然后传给reduce，执行解压。（map压缩）
为了减少输出，将reduce的结果进行压缩。（reduce压缩）
⑨文件存储格式
orc： 列式存储 testfile ： 文本格式 Parquet：列式存储 二进制存储方式 注：数据压缩比例上ORC最优，相比textfile节省了50倍磁盘空间，parquet压缩性能也较好。 注：SQL查询速度而言，ORC与parquet性能较好 create table t1( id int ,name string ) partitioned by (day string) row format delimited fields terminated by '\t' stored as orc ;
3、分区与目录关联
案例：把数据直接先上传到HDFS的分区目录中，在让分区表与数据产生关联
1 上传数据后修复
1） 首先在HDFS上先创建一个目录，为如下结构
/user/hive/warehouse/dept_partition2/month=2/day=16
2） 上传数据到该目录中
dfs -put /data/dept.txt /user/hive/warehouse/dept_partition2/month=2/day=16;
3） 查询分区表，查看上传之后的数据
select * from dept_partition2 where month='2' and day='16'; //但是发现结果没有查询到任何数据
4） 执行修复命令，使HDFS上的数据与表结构相关联
msck repair table dept_partition2;
5） 再次查询分区表结果就可以查询到数据内容
select * from dept_partition2 where month='2' and day='16';
4、HIVE优化
三个方面： 1、不执行mapreduce ：Fetch抓取 2、不用分布式去执行mapreduce ：本地模式 3、进行过滤 ：严格模式 4、多线程 ：并行执行 5、内存方面 ：jvm重用 6、开启推测执行 7、合理设置map和reduce个数 ①Fetch抓取 一个简单的查询语句，是指一个没有函数、排序等功能的语句，当开启一个Fetch Task功能， 就执行一个简单的查询语句不会生成MapRreduce作业，而是直接使用FetchTask，从hdfs文件系统中进行查询输出数据，从而提高效率。 hive.fetch.task.conversion=more //hive-site中设置 ②本地模式 在hive的运行过程中，如果输入的数据量非常小，可以启动本地模式，在hive的本地节点上进行运行，不会提交任务到集群中。这样可以避免集群分配资源造成的时间浪费 等于说以前用集群，但是如果输入数据量小的话，可以只用一台机器去运行。 hive.exec.mode.local.auto=true; //hive-site中设置 hive.exec.mode.local.auto.inputbytes.max=134217728 //输入超过128M不能本地模式 set hive.exec.mode.local.auto.input.files.max=4; //输入超过四个文件不能本地模式 ③表的优化 1) 大表在join小表的情况下，把小表放到join的左边，这样小表就会被缓存到map中，之后在进行大表的读取： 2) 在进行join的时候尽量检查HQL语句，不要产生笛卡儿积 3）数据的倾斜 1 合理设置map端的数量，通过切片的数量， 以及input目录中文件的数量来决定 2 当输入的数据存下很多小文件，小文件的数据远远小于128MB ,每个小文件都会被当成一个map任务输出， 而每个map的启动和初始化都是需要资源的，启动的任务，与要分析的任务的时长不成正比，会造成很大的资源浪费 3 合理的设置reduce数量 hive.exec.reducers.max=1009 //reduce的个数 ④并行执行 Hive语句会把查询转换为多个阶段，抽样阶段，合并阶段，limit阶段。默认情况下hive只会一个任务执行一个阶段。 当某些任务不存在依赖关系时，可以开启并发执行 hive.exec.parallel=true; hive.exec.parallel.thread.number=8； ⑤严格模式 hive.mapred.mode=strict; //nonstrict: 非严格模式 1） 对于分区表： 除非where语句中，包含分区字段的过滤条件，否则不让执行 2） 使用order by语句进行查询，必须包含limit 子句进行限制否则不让执行 3） 限制笛卡儿积的查询 ⑥JVM重用 对于MR任务执行的时候存在很多小文件，task任务启动就会很多，每个任务执行的时间都很短， JVM重用可以使得JVM实例在同一个JOB中重新使用N次。可以减少JVM的启动次数以及资源的消耗， <property> <name>mapreduce.job.jvm.numtasks</name> <value>1</value> //mapred-site文件中修改 </property> ⑦推测执行 原因：因为程序bug，负载不均衡或者资源分布不均，造成同一个job的多个task运行速度不一致，有的task运行速度明显慢于其他task。 解决：为该任务重新启动的一个，备份任务，与原来的任务一致，这两个任务同时运行，哪个任务先执行完毕，则以哪个任务为准。 前提： 1） 每个task只能存在一个备份任务 2） 当前的job 必须完成task任务的5% 不适用： 1）任务出现了严重数据倾斜 2）特殊的任务，reduce 把结果输出到数据库中 缺点：以空间换时间，当需要备份任务过多，只会更加拖累进程。当发生严重数据倾斜时，备份只会是火上浇油。
5、其他
①虚拟列 INPUT__FILE__NAME： //可以查询表中文件存储的位置 BLOCK__OFFSET__INSIDE__FILE： //表中文本中数据的偏移量 select id ,INPUT__FILE__NAME ,BLOCK__OFFSET__INSIDE__FILE from t1 注：开启之后能查出文件的存储位置和数据的偏移量信息 ② Hive Server2 注：将此HIVE开放，客户端能连 1） 启动hiveserver2的命令 bin/hiveserver2 2） 客户端连接命令 bin/beeline //首先使用beeline 命令进入到命令行模式 !connect jdbc:hive2://hadoop01:10000 hadoop sacsac //之后进行连接 链接之后，能执行HQL语句。 3）API 通过写java代码，能执行HQL语句
2、sqoop
1、Sqoop底层是使用mapreduce实现的，但是只是用到了map阶段，没有用到reduce阶段 思考：为什么sqoop使用mapreduce底层来实现？ 答：Mapreduce是一个分布式计算框架，传输海量数据的时候效率更高 思考2：为什么sqoop只使用了map阶段没使用redue阶段？ 答：Sqoop 仅仅是做数据传输，并涉及到计算，所以没有使用到redcue //导入import，导出export 2、mysql---->hdfs create table to_hdfs( id int primary key not null, name varchar(30) not null ); insert into to_hdfs(id,name)values(1,'tiantian'); //现在mysql中创建表to_hdfs和数据 insert into to_hdfs(id,name)values(2,'xuewei'); insert into to_hdfs(id,name)values(3,'xiaopang'); insert into to_hdfs(id,name)values(4,'bangzhang'); sqoop import --connect jdbc:mysql://192.168.40.10:3306/test --username root --password root --table to_hdfs //连接mysql的test中的to_hdfs的数据 --target-dir /to_hdfs //导出到/to_hdfs文件夹下（自动创建） --fields-terminated-by '\t' \ //导出的文件分隔符为\t --num-mappers 1 //map数量为1，导出成一个文件 //--delete-target-dir //如果输出目录存在则删除 sqoop import --connect jdbc:mysql://hadoop01:3306/test --username root --password root --table to_hdfs --fields-terminated-by '\t' --target-dir /to_hdfs2 --num-mappers 1 --check-column id //检查列 --incremental append //是否是追加 --last-value 8 //检查列的值 mysql中test数据库to_hdf表中id大于8的才会被追加到/to_hdfs2 下的文件中 3、mysql----->hdfs sqoop import --connect jdbc:mysql://s10:3306/test --username root --password root --table to_hdfs --target-dir /to_hdfs3 --hive-import --hive-database hive_test --hive-table stu_info --num-mappers 1 --fields-terminated-by '\t' 3、hdfs----->mysql create table to_mysql( id int primary key not null, name varchar(30) not null ); sqoop export --connect jdbc:mysql://s10:3306/test --username root --password root --table to_mysql --export-dir /user/hive/warehouse/session_info/day=20190118 --num-mappers 1 --input-fields-terminated-by '\t' 4、job 当某些导入导出命令，经常用时，可以作为一个job保存。 sqoop job \ --create stu_info \ -- \ import --connect jdbc:mysql://hadoop01:3306/test \ --username root \ --password root \ --table to_hdfs \ --target-dir /to_hdfs4 \ --num-mappers 1 sqoop job --list //查看已经创建的job列表 sqoop job --exec stu_info //执行job，需要输入mysql的密码