Installation ruche, la configuration et les propriétés des commandes de communes

installer MySQL

rpm -qa | grep mysql          //查看是否存在mysql
rmp -e --nodeps mysql-libs-5.1.73-7.e16.x84_64      //卸载已有的的mysql
cd /opt/software/mysql-libs/        //进入mysql-libs文件夹,其中有三个文件client、connector、server

//1.安装mysql服务端
rpm -ivh MySQL-server-5.6.24-1.e16.x86_64.rpm  //安装mysql服务端
cat /root/.mysql_secret   //查看产生的随机密码:PassW0rd
service mysql status   //查看mysql状态
service mysql start   //启动mysql

//2.安装mysql客户端
rmp -ivh MySQL-client-5.6.24-1.e16.x86_64.rmp    //安装mysql客户端
mysql -u root -p PassW0rd    //链接mysql
SET PASSWORD=PASSWORD('000000')         //修改密码
exit   //退出mysql

//3.mysql中user表中主机配置,首先进入mysql
select user,host,password from user       //查询user表
update user set host='%' where host='localhost'   //将user表中的host内容修改为%
delete from user where host='hadoop102'    //删除root用户的其他host
flush privileges        //刷新
quit   //退出  


//4.hive元数据配置到mysql
tar -zxvf mysql-connector-java=5.1.27.tar.gz       //解压驱动
rm -rf mysql-connector-java-5.1.27.tar.gz       //删除tar包
cd mysql-connector-java=5.1.27            //进入驱动所在目录
cp ./mysql-connector-java-5.1.27-bin.jar opt/module/hive/lib/  //将当前路径下的mysql包传入到hive中


//5.修改hive的配置信息
cd /opt/module/hive/conf       //进入hive的配置,修改信息
touch hive-site.xml        //创建配置文件
chown qx:qx hive-site.xml     //将hive-site文件的权限进行修改,根据官方文档添加内容,修改文件

//6.HiveJDBC访问
bin/hiveserver2            //进入hive的bin目录下启动hiveserver2服务
bin/beeline         //启动beeline
!connect jdbc:hive2://hadoop102:10000       //进入beeline目录执行此条语句后,输入用户名和密码,连接jdbc

ruche commandes couramment utilisées

//1.常用交互命令
bin/hive -e "select id from student;"     //不进入hive的交互窗口执行sql语句
bin/hive -f ./hive.hql           //执行脚本文件中hql语句
bin/hive -f ./hive.hql > /opt/module/datas/hive_result.txt  //执行文件中SQL语句并将结构写入文件中


//hive其他操作命令
dfs -ls /              //在hive cli窗口中如何查看hdfs文件系统
! ls /opt/module/datas      //在hive cli命令窗口中查看本地文件系统
cat .hivehistory     //进入到当前用户的根目录/root查看.hivehistory文件

configuration d'attribut commun ruche

  • ruche de position Configuration Data Warehouse
  1. Sous / user / ruche / chemin entrepôt: emplacement par défaut est le plus primitif entrepôt de données sur les HDFS
  2. Dans le catalogue de l'entrepôt, pas créer un dossier sur la valeur par défaut de base de données par défaut. Si une tables de la base par défaut appartiennent, créer un dossier directement dans le catalogue de l'entrepôt de données
  3. Data Warehouse modifier la position d'accueil par défaut (la ruche-default.xml.template suit copié dans le fichier ruche-site.xml)
<property>
    <name>hive.metastore.warehouse.dir<name>
    <value>/user/hive/warehouse</value>
    <description>
        location of default database for the warehouse
    </description>
</property>

Configuration du même groupe d'utilisateurs ont le droit d'effectuer

bin/hdfs dfs -chmod g+w /user/hive/warehouse
  •  Une fois la configuration de requête d'affichage d'informations
  1. Ajoutez les informations suivantes dans le fichier de configuration ruche-site.xml, la configuration peut réaliser les informations d'en-tête de base de données en cours d'affichage, et une table de consultation
    <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>
    
    <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>

     

  • ruche et logs Configuration
  1. Le journal par défaut stocké dans la ruche /tmp/qx/hive.log (nom d'utilisateur)
  2. Modifier la ruche des journaux de stockage journal / opt / module / ruche / logs
mv hive-log4j.properties.template hive-log4j.properties           //进入conf目录下,修改hive-log4j.properties.template文件名称为hive-log4j.properties

hive.log.dir=/opt/module/hive/logs     //在hive-log4j文件中修改kog存放位置
  • les paramètres de configuration de la ruche
  1. Entrez le jeu après jeu // dans la ruche: Voir toutes les informations de configuration actuelle
  2. Les paramètres de configuration de trois façons
    //1.配置文件方式
    默认配置文件:hive-default.xml
    用户自定义配置文件:hive-site.xml
    注意:用户自定义配置会覆盖默认配置
    
    
    //命令行参数方式
    启动hive时,可以在命令行添加-hiveconf param=value来设定参数
    set mapred.reduce.tasks   //进入hive中,查看设置
    bin/hive -hiveconf mapred.reduce.task=10   //设置方法一
    set mapred.reduce.tasks=11      //设置方法二
    

     

Publié 111 articles originaux · louange gagné 57 · vues + 60000

Je suppose que tu aimes

Origine blog.csdn.net/qq_38358499/article/details/105343981
conseillé
Classement