hive的配置与使用
简介:
Hive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
一.下载安装hive的包后,再/etc/proflie中进行环境变量的配置
export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin
二.配置hive/conf/hive-site.xml(此文件不存在,需要自己建立)
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?CharacterEncoding=UTF-8</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>861153</value> </property> </configuration>
三.hive的元数据需要再mysql中保存,故需要安装mysql,并建立hive数据库(并再hive-site.xml中配置)
sudo apt-get install mysql-server
用户名:root
密码:861153
开启mysql服务:service mysql start
检查状态: service mysql status四.如果此时使用hive打开hive后,用命令show tables;会出现错误:
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
需要对hive的元数据库初始化:
schematool -dbType mysql -initSchema
然后再使用 show tables; 会出现ok,表示成功了。
在本地/home/hadoop目录下创建adu.text文件
1 adu 22 18810315232 2 wang 21 djsfks 3 sfds 45 dsfiw
在hive中创建表
上传本地文件到hive表中
在hive中查看
在浏览器中查看hdfs中的内容:localhost://50070
查看表结构