大数据核心原理与实践专栏

说明：

TDH社区版还挺好用的，无限量续签许可证，如果大家只是想玩玩儿大数据平台，或者刚入行大数据想练手，那么TDH社区版就够用了，避免了你前期安装一系列Hadoop组件的麻烦。

想当年，笔者不知道有一站式大数据平台这玩意儿，还是从配置虚拟机到一个一个开源组件安装测试、到最终协调起来工作一步步走来。现在想想真是耗费时间，这也是为什么想了很久还是写下了这篇博文，希望你们了解大数据基本组件配置文件后，不用自己亲手配置，直接用上商业大数据平台，避免做无用功。

点击下载TDH社区版

环境：

笔者安装的实验环境如下：

3台虚拟机即3个节点（至少3台），系统CentOS 7.2
每个节点内存20G
文件系统要求（分区和新磁盘均可，如docker分区可以是sdc的一个分区sdc2组成，也可以用新的磁盘sdd来搞）：

文件系统	大小	挂载目录	文件系统类型
/dev/sda1 (必选)	50G	/	ext4
/dev/sda2 (可选)	32G		swap
/dev/sda3 (必选)	50G	/var/log	ext4
/dev/sdb1 (必选)	50G	/mnt/disk1	ext4
/dev/sdc1 (可选)	50G	/mnt/disk2	ext4
/dev/sdd (必选)	50G	/var/lib/docker	ext4

总之要求不高，1~2块数据盘、日志盘、docker分区。三样齐全即可！

前期准备

1、时间同步：

因为后期涉及许可证过期问题，故推荐安装开始先将集群时间同步，同步方式如下：

利用ntp服务同步时间（史上最简单）

如果没外网，那就需要自己设置linux时间，并将时间写入硬件CMOS防止重启失效。如下：

date -s 07/25/2018
Date -s 20:13:14
# 写入硬件，防止重启时间恢复
clock -w

2、配置docker分区

直接写个shell脚本，在每台节点上运行即可，注意要在每一台上都运行此脚本，因为每一台节点上都是要做Docker容器虚拟化操作。

#!/bin/bash

# 格式化
mkfs.xfs -f -n ftype=1 /dev/sdd

# 创建docker目录
rm -rf /var/lib/docker
mkdir -p /var/lib/docker

# 挂载
mount /dev/sdd /var/lib/docker

# 写入fstab，开机自动挂载
echo "/dev/sdd /var/lib/docker xfs defaults 0 0" >> /etc/fstab

# 输出文件系统
df -h

3、修改 /etc/hosts文件

因为安装过程中需要同其他节点通信，故我们需要配置hosts。具体做法，在每一台节点上添加：主机名-ip地址配置信息。此过程就不详细叙述了，如下：（注意前几行不要删）

正式安装

1、准备安装介质

TDH-Basic-Component-Transwarp-ce-1.1.0-final.tar.gz
CentOS-7-x86_64-DVD-1511.iso（用于后续配置repo源）

2、安装

解压执行安装命令：

tar -zxvf TDH-Basic-Component-Transwarp-ce-1.1.0-final.tar.gz
cd transwarp
./install

3、可视化安装

之后会提示让你访问主节点ip + 8179端口，此界面即为后续可视化界面。

[I 05:20:45:686] It is highly recommended that all hosts in the cluster can be visited by FQDN/hostname from the browser. To achieve that, configure proper DNS and/or Hosts file on your browser machine 
[I 05:20:45:686] 

        Copy/paste this URL into your browser when you connect for the first time:
                http://172.16.8.1:8179/