hadoop开发第五步之hive

                                                 hive的配置与使用


简介:

Hive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

一.下载安装hive的包后,再/etc/proflie中进行环境变量的配置

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin

二.配置hive/conf/hive-site.xml(此文件不存在,需要自己建立)

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>  
    <name>javax.jdo.option.ConnectionURL</name>  
    <value>jdbc:mysql://localhost:3306/hive?CharacterEncoding=UTF-8</value>  
  </property>  
  <property>  
    <name>javax.jdo.option.ConnectionDriverName</name>  
    <value>com.mysql.jdbc.Driver</value>  
  </property>  
  <property>  
    <name>javax.jdo.option.ConnectionUserName</name>  
    <value>root</value>  
  </property>  
  <property>  
    <name>javax.jdo.option.ConnectionPassword</name>  
    <value>861153</value>  
  </property>  
</configuration>  

三.hive的元数据需要再mysql中保存,故需要安装mysql,并建立hive数据库(并再hive-site.xml中配置)

sudo apt-get install mysql-server

         用户名:root

         密码:861153

    开启mysql服务:service mysql start

     检查状态: service mysql status

四.如果此时使用hive打开hive后,用命令show tables;会出现错误:

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

 需要对hive的元数据库初始化:

schematool -dbType mysql -initSchema

然后再使用 show tables; 会出现ok,表示成功了。


在本地/home/hadoop目录下创建adu.text文件

1	adu	22	18810315232
2	wang	21	djsfks
3	sfds	45	dsfiw

在hive中创建表


上传本地文件到hive表中


在hive中查看


在浏览器中查看hdfs中的内容:localhost://50070


查看表结构


猜你喜欢

转载自blog.csdn.net/douzhenwen/article/details/80157348