各类组件的单机安装

一、jdk安装

太简单，略过

export JAVA_HOME=/usr/java/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin

刷新 source /etc/profile
检查 java -version

二、zk安装

太简单，略过，环境变量配置如下

export PATH=$JAVA_HOME/bin:$PATH 
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin

刷新 source /etc/profile
启动 zkServer.sh start
查看状态 zkServer.sh status
停止 zkServer.sh stop

三、hadoop安装

下载解压部分略过，环境变量配置如下：

export HADOOP_HOME=/usr/java/hadoop-2.8.5
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在修改配置文件前，先创建一下几个目录

mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data

修改hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_221

修改core-site.xml（注意修改ip）

<configuration>	
<property>
	<name>hadoop.tmp.dir</name>
	<value>/root/hadoop/tmp</value>
	<description>Abase for other temporary directories.</description>
</property>
<property>
	<name>fs.default.name</name>
	<value>hdfs://192.168.10.45:9000</value>
</property>
</configuration>

修改hdfs-site.xml（注意修改ip）

<configuration>
<property>
	<name>dfs.name.dir</name>
	<value>/root/hadoop/dfs/name</value>
	<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
	<name>dfs.data.dir</name>
	<value>/root/hadoop/dfs/data</value>
	<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
	<name>dfs.http.address</name>
	<value>192.168.10.45:50070</value>
</property>
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>192.168.10.45:50090</value>
</property>
<property>
	<name>dfs.permissions</name>
	<value>true</value>
	<description>need not permissions</description>
</property>
</configuration>

修改mapred-site.xml（注意修改ip）

<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>192.168.10.45:9001</value>
</property>
<property>
	<name>mapred.local.dir</name>
	<value>/root/hadoop/var</value>
</property>
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
</configuration>

格式化
第一次启动时要初始化，格式化的NameNode : hdfs namenode -format
启动
```
start-all.sh
```
遇到的问题及解决
暂无，后续补充

四、hbase安装

下载解压部分略过，环境变量配置如下：

export HBASE_HOME=/usr/java/hbase-2.1.7
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin::$HBASE_HOME/bin

配置hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_221 Java安装路径
export HBASE_CLASSPATH=/usr/java/hbase-2.1.7/conf HBase类路径
export HBASE_MANAGES_ZK=false 由HBase负责启动关闭zk

配置hbase-site.xml

 <property>
    <name>hbase.root.dir</name>
    <value>hdfs://node1:9000/hbase</value>
</property>
<property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
</property>
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>node1</value>
</property>

配置hostname

vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node1

配置host映射
```
vi /etc/hosts
192.168.10.45 node1
```
启动 : start-hbase.sh
遇到的问题及解决方案：
a）启动hbase报java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder
解决：cp $HBASE_HOME/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar $HBASE_HOME/lib/

五、mysql安装

检查是否已经安装过mysql，执行命令
rpm -qa | grep mysql
查询所有Mysql对应的文件夹并删除相关目录或文件
```
whereis mysql
find / -name mysql
```

检查mysql用户组和用户是否存在，如果没有，则创建

[root@localhost /]# cat /etc/group | grep mysql
[root@localhost /]# cat /etc/passwd |grep mysql
[root@localhost /]# groupadd mysql
[root@localhost /]# useradd -r -g mysql mysql

下载解压mysql
创建数据目录
```
mkdir /usr/java/mysql/data
```
更改mysql目录下所有的目录及文件夹所属的用户组和用户，以及权限
```
chown -R mysql:mysql /usr/local/mysql
chmod -R 755 /usr/local/mysql
```

编译安装并初始化mysql,务必记住初始化输出日志末尾的密码（数据库管理员临时密码）

./mysqld --initialize --user=mysql --datadir=/usr/java/mysql/data --basedir=/usr/java/mysql

这步可能出错：解决办法：
rpm -qa|grep libaio
yum install  libaio-devel.x86_64
yum -y install numactl

编辑配置文件my.cnf，添加配置如下

[mysqld]
datadir=/usr/java/mysql/data
port = 3306
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
symbolic-links=0
max_connections=400
innodb_file_per_table=1
#表名大小写不明感，敏感为
lower_case_table_names=1

启动mysql服务器

/usr/java/mysql/support-files/mysql.server start

添加软连接，并重启mysql服务

ln -s /usr/java/mysql/support-files/mysql.server /etc/init.d/mysql 
ln -s /usr/java/mysql/bin/mysql /usr/bin/mysql

登录mysql，修改密码(密码为步骤7生成的临时密码)

mysql -u root -p
set password for root@localhost = password('root');(密码是root)

开放远程连接

mysql>use mysql;
msyql>update user set user.Host='%' where user.User='root';
mysql>flush privileges;

设置开机自动启动
1、将服务文件拷贝到init.d下，并重命名为mysql
```
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
```
2、赋予可执行权限
```
chmod +x /etc/init.d/mysqld
```
3、添加服务
```
chkconfig --add mysqld
```
4、显示服务列表
```
chkconfig --list
```

六、hive安装

下载解压部分略过，环境变量配置如下：

export HIVE_HOME=/usr/java/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin::$HBASE_HOME/bin::$HIVE_HOME/bin

配置hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost:3306/hivedb</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>root</value>
	</property>
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
	</property>
</configuration>

执行 schematool -dbType mysql -initSchema
mysql中创建hive的元数据库，库名和上述配置一致：hivedb

注：以上为大数据其中几个组件的单机版安装配置，都是本人亲自试验通过的。至于集群版会在其他博客中单独一个组件一个组件的讲。待续…

Hello Guava

发布了20 篇原创文章 · 获赞 9 · 访问量 551

私信关注