hive 命令整理

启动

hive

数据库操作

create database database_name; -- 新建数据库
creat database if not exists -- 新建数据库 database_name;
show databases; -- 查看数据库
show databases like 'h.*'; -- 查看数据库
use default;    --使用哪个数据库
create table test3 like test2; --只是复制了表结构，并不会复制内容
create table test2 as select name,addr from test1;--复制表结构的同时，把内容也复制过来了，需要执行mapreduce
show tables;  --查看该数据库中的所有表
show tables  ‘*t*’;    --支持模糊查询
SHOW TABLES IN DbName; --查看指定数据库中的所有表
describe formatted(可选) tab_name;  --查看表的结构及表的路径
describe database database_name; --查看数据库的描述及路径
creat database database_name location '路径';   --修改数据库的路径
drop database if exists database_name; --删除空的数据库
drop database if exists database_name cascade; --先删除数据库中的表再删除数据库
show partitions t1;   --查看表有哪些分区 
alter table table_name rename to another_name;   --修改表名
drop table t1 CASCADE(可选，忽略错误);      --删除表t1
drop table if exists CASCADE --删除数据库的时候，不允许删除有数据的数据库，如果数据库里面有数据则会报错。如果要忽略这些内容，则在后面增加CASCADE关键字，则忽略报错，删除数据库。 t1;--如果存在表t1，删除表t1
load data inpath '/root/inner_table.dat' into table t1;   --移动hdfs中数据到t1表中
load data local inpath '/root/inner_table.dat' into table t1;  --上传本地数据到hdfs中
!ls;  --查询当前linux文件夹下的文件
dfs -ls /; --查询当前hdfs文件系统下  '/'目录下的文件
set hive.cli.print.current.db=true;  --显示地展示当前使用的数据库
set hive.cli.print.header=true; --Hive显示列头

导入

向管理表中加载数据：
Hive没有行级别的插入、删除、更新的操作，那么往表里面装数据的唯一的途径就是使用一种“大量”的数据装载操作，或者仅仅将文件写入到正确的目录下面。
overwrite关键字：
    load data local inpath '${env:HOME}/目录'
    overwrite(可选) into table table_name
    partition (分区)；
-- 如果没有使用overwrite，则会再拷贝一份数据，不会覆盖原来的数据。

导出

hadoop fs -cp source_path target_path
insert……directory……
e.g insert overwrite local directory '/tmp/目录'     -- 这里指定的路径也可以是全URL路径

退出

quit;     --退出hive
exit;    --exit会影响之前的使用，所以需要下一句kill掉hadoop的进程
hadoop job -kill jobid

文件执行hive SQL

-- 控制台执行
hive -f sql_path;
e.g hive -f /path/to/file/xxxx.hql;
-- hive shell 执行
source sql_path;
e.g source /path/to/file/test.sql;
-- 一次使用命令
hive -e "SQL语句"；
e.g.  $ hive -e "select * from mytable limit 3";

建表语句

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name    -- (Note: TEMPORARY available in Hive 0.14.0 and later)
  [(col_name data_type [COMMENT col_comment], ...)]
  [COMMENT table_comment]
  [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
  [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
  [SKEWED BY (col_name, col_name, ...)                  -- (Note: Available in Hive 0.10.0 and later)]
     ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)
     [STORED AS DIRECTORIES]
  [
   [ROW FORMAT row_format] 
   [STORED AS file_format]
     | STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)]  -- (Note: Available in Hive 0.6.0 and later)
  ]
  [LOCATION hdfs_path]
  [TBLPROPERTIES (property_name=property_value, ...)]   -- (Note: Available in Hive 0.6.0 and later)
  [AS select_statement];   -- (Note: Available in Hive 0.5.0 and later; not supported for external tables)

查询表数据

hive> select * from employees;
OK
tony    1338    ["a1","a2","a3"]        {"k1":1.0,"k2":2.0,"k3":3.0}    {"street":"s1","city":"s2","state":"s3","zip":4}
mark    5453    ["a4","a5","a6"]        {"k4":4.0,"k5":5.0,"k6":6.0}    {"street":"s4","city":"s5","state":"s6","zip":6}
ivy     323     ["a7","a8","a9"]        {"k7":7.0,"k8":8.0,"k9":9.0}    {"street":"s7","city":"s8","state":"s9","zip":9}
Time taken: 10.204 seconds, Fetched: 3 row(s)

查树组
hive> select subordinates[1]  from employees;
Total MapReduce CPU Time Spent: 2 seconds 740 msec
OK
a2
a5
a8
查map
hive> select deductions["k2"]  from employees;

OK
2.0
NULL
NULL
Time taken: 75.812 seconds, Fetched: 3 row(s)

查结构体
hive> select address.city  from employees;
Total MapReduce CPU Time Spent: 2 seconds 200 msec
OK
s2
s5
s8
Time taken: 75.311 seconds, Fetched: 3 row(s)

select * 不执行mapreduce，只进行一个本地的查询。
而select 某个字段生成一个job，执行mapreduce。

执行

nohup hive -f insert.sql >log.log &

ldx2

发布了43 篇原创文章 · 获赞 4 · 访问量 2万+

私信关注

猜你喜欢