Sqoop的安装及常用命令 网站日志流量分析系统之数据清洗处理(离线分析)

一、概述

  1. sqoop是Apache 提供的工具,用于hdfs和关系型数据库之间数据的导入和导入

  2.可以从hdfs导出数据到关系型数据库,也可以从关系型数据库导入数据到hdfs

二、实现步骤 

  1. 准备sqoop安装包,官网地址:http://sqoop.apache.org

  2. 配置jdk环境变量和Hadoop的环境变量。因为sqoop在使用是会去找环境变量对应的路径,从而完整工作

  3. 解压Sqoop的安装包

  4. 需要将要连接的数据库的驱动包加入sqoop的lib目录下(这里我为了将离线分析处理数据存入mysql,使用是mysql数据库及对应的jar包)利用指令操作sqoop

三、基础 指令

 

   本次安装主要是为了离线分析数据清洗完成后的操作:网站日志流量分析系统之数据清洗处理(离线分析)

猜你喜欢

转载自www.cnblogs.com/rmxd/p/11643563.html