一、集群介绍
共3台主机，ip 为193.168.0.93 193.168.0.94 193.168.0.95
集群对应master和segment如下，193.168.0.93为master节点。193.168.0.94 193.168.0.95为segment节点，每个segment节点配置两个primary segment和两个mirror segment（也可以为master做一个备份，目前没有做）
架构图入下
二、服务器修改(all host)
2.1配置hosts
vi /etc/hosts
192.168.0.93 gpdb-1 mdw 192.168.0.94 gpdb-2 sdw1 192.168.0.95 gpdb-3 sdw2
2.2创建用户及用户组
2.2.1创建用户组，组id为530
groupadd -g 530 gpadmin
2.2.2创建用户，赋予gpadmin用户组，并自定用户根目录
useradd -g 530 -u 530 -d /home/gpadmin -s /bin/bash gpadmi
2.2.3授权/home/gpadmin
chown -R gpadmin:gpadmin /home/gpadmin
2.2.4修改密码
passwd gpadmin
2.3关闭防火墙
2.3.1关闭默认防火墙
systemctl stop firewalld
2.3.2关闭iptables
systemctl stop iptables
2.4修改network文件
vi /etc/sysconfig/network
NETWORKING=yes HOSTNAME=对应的主机名称
2.5修改系统文件
2.5.1修改内核配置
vi /etc/sysctl.conf
kernel.shmmax = 5000000000 kernel.shmmni = 4096 kernel.shmall = 4000000000 kernel.sem = 250 512000 100 2048 kernel.sysrq = 1 kernel.core_uses_pid = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.msgmni = 2048 net.ipv4.tcp_syncookies = 1 net.ipv4.ip_forward = 0 net.ipv4.conf.default.accept_source_route = 0 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_max_syn_backlog = 4096 net.ipv4.conf.all.arp_filter = 1 net.ipv4.ip_local_port_range = 1025 65535 net.core.netdev_max_backlog = 10000 net.core.rmem_max = 2097152 net.core.wmem_max = 2097152 vm.overcommit_memory = 2
执行命令 sysctl -p 使修改数值生效
2.5.2修改限制配置
vi /etc/security/limits.conf
* soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072
2.5.3禁用SELINUX
vi /etc/selinux/config
SELINUX=disabled
三、安装依赖及创建安装目录(all host)
3.1安装依赖
yum install -y epel-release yum install -y apr-devel bison bzip2-devel cmake3 flex gcc gcc-c++ krb5-devel libcurl-devel libevent-devel libkadm5 libyaml-devel libxml2-devel perl-ExtUtils-Embed python-devel python-paramiko python-pip python-psutil python-setuptools readline-devel xerces-c-devel zlib-devel pip install lockfile conan yum install openssl-devel
3.2创建安装目录
mkdir /opt/greenplum chown -R gpadmin:gpadmin /opt/greenplum chown -R gpadmin:gpadmin /usr/local/yiliao/
----------------------------------------以下用gpadmin用户------------------------------------------------------------
四、安装gpdb
4.1上传安装包并解压(Master)
unzip gpdb-5.6.0.zip cd gpdb-5.6.0
4.2编译gpdb(Master)
4.2.1安装
./configure --with-perl --with-python --with-libxml --with-gssapi --disable-orca --prefix=/opt/greenplum/db
make
make install
4.2.2引入脚本
source /opt/greenplum/db/greenplum_path.sh
4.3编辑节点服务器文件(Master)
(目录： /home/gpadmin/gpconfig/)
mkdir gpconfig
vi all_hosts
mdw
sdw1
sdw2
vi seg_hosts
sdw1
sdw2
4.4打通节点(Master)
gpssh-exkeys -f all_hosts
gpssh-exkeys -f seg_hosts
4.5打包分发安装文件(Master)
4.5.1打包分发
tar -cf gp5.6.tar db/ gpscp -f /home/gpadmin/gpconfig/seg_hosts gp5.6.tar =:/opt/greenplum
4.5.2解压分发文件(目录结构要和主节点一直)并创建数据目录
gpssh -f all_hosts(连接all节点,批量) cd /opt/greenplum/ tar -xf gp5.6.tar mkdir -p /usr/local/yiliao/gpdata/gpmaster mkdir -p /usr/local/yiliao/gpdata/gpp1 mkdir -p /usr/local/yiliao/gpdata/gpp2 mkdir -p /usr/local/yiliao/gpdata/gpm1 mkdir -p /usr/local/yiliao/gpdata/gpm2
4.5.3 编辑.bash_profile
vi ~/.bash_profile
source /opt/greenplum/db/greenplum_path.sh export MASTER_DATA_DIRECTORY=/usr/local/yiliao/gpdata/gpmaster/gpseg-1 export PGPORT=5432 export PGDATABASE=testDB
生效 . ~/.bash_profile
4.5.4编辑数据库启动文件(/home/gpadmin/gpconfig/)
ARRAY_NAME="Greenplum" MACHINE_LIST_FILE=/home/gpadmin/gpconfig/seg_hosts SEG_PREFIX=gpseg PORT_BASE=40000 declare -a DATA_DIRECTORY=(/usr/local/yiliao/gpdata/gpp1 /usr/local/yiliao/gpdata/gpp2) MASTER_HOSTNAME=mdw MASTER_DIRECTORY=/usr/local/yiliao/gpdata/gpmaster MASTER_PORT=5432 TRUSTED_SHELL=ssh ENCODING=UNICODE MIRROR_PORT_BASE=50000 REPLICATION_PORT_BASE=41000 MIRROR_REPLICATION_PORT_BASE=51000 declare -a MIRROR_DATA_DIRECTORY=(/usr/local/yiliao/gpdata/gpm1 /usr/local/yiliao/gpdata/gpm2)
4.5.5初始化数据库
gpinitsystem -c /home/gpadmin/gpconfig/gpinitsystem_config -a
4.5.6用psql测试是否安装成功
psql -d postgres CREATE USER yiliaodb PASSWORD 'yiliaodb' CREATEDB;
4.5修改文件(Master)
cd /usr/local/yiliao/gpdata/gpmaster/gpseg-1/
vi pg_hba.conf
host all yiliaodb 0.0.0.0/0 md5
说明：
（1）.其中，"trust"和"password"为postgresql数据库登陆验证的方式，"trust"表示信任，即不需要输入密码(即使有密码)，"password"表示需 要输入密码。
（2）.host all all 127.0.0.1/31 trust表示本地连接数据库不需要输入密码（即使有密码，设为trust后就不需要密码）
（3）.host all all 0.0.0.0/0 所有主机连接数据库需要输入密码（如果有密码）
（4）.当然，这两个综合后表现的结果就是：对于本机链接表示信任（不需要输入密码），对于非本机链接需要输入密码
4.6安装注意事项
1.每次服务器重启以后需要关闭防火墙
2.每次需加载gpdb环境变量才能有gpdb数据库命令 “. ~/.bash_profile”
3.gpstop 命令关闭gpdb
4.gpstart -a 命令开启gpdb
4.7 gp基本命令
1.Shell命令：
su - gpadmin gpstart #正常启动 gpstop #正常关闭 gpstop -M fast #快速关闭 gpstop -r #重启 gpstop -u #重新加载配置文件
2.gp命令
a) 登陆与退出Greenplum # 默认数据库登陆 psql # 登陆gpdb数据库 psql gpdb psql -d gpdb # 以gpadmin用户，gphostm server，5432端口登陆gpdb数据库 psql -d gpdb -h gphostm -p 5432 -U gpadmin # 退出 在gp数据库中： \q b) 查看greenplum数据库下所有默认数据表： select * from pg_tables; c)进入数据库以后，就可以通过命令，查看数据库种的数据库：
select * from pg_database; d)数据库中查看用户和数据库 用户： \du 数据库：\l
3.检查及修复无效的segment节点
# status命令查看状态 Show detailed status information of a Greenplum Database system: gpstate -s Do a quick check for down segments in the master host system catalog: gpstate -Q Show information about mirror segment instances: gpstate -m Show information about the standby master configuration: gpstate -f Display the Greenplum software version information: gpstate -i # 恢复节点 gprecoverseg -r
五、数据备份和恢复
5.1 了解GreenPlum数据库的备份恢复
5.1.1并行备份(gp_dump)
1) GP同时备份Master和所有活动的Segment实例
2) 备份消耗的时间与系统中实例的数量没有关系
3) 在Master主机上备份所有DDL文件和GP相关的数据字典表
4) 每个Segment备份各自的数据
5) 所有备份文件组成一个完整的备份集合，通过唯一14位数字的时间戳来识别
5.1.2 并行恢复(gp_restore)
1) 通过gp_dump产生的时间戳来辨识备份集合，恢复数据库对象和数据到分布式数据库
2) 每个Segment并行恢复各自的数据
3) 被恢复的GP系统必须与备份的系统同构
5.1.3非并行备份(pg_dump/pg_dumpall)
1) GP依然支持常规的PostgreSQL备份命令pg_dump和pg_dumpall
2) 备份将在Master主机上创建一个包含所有Segment数据的大的备份文件
3) 不适合于全部数据备份，适用于小部分数据的迁移或备份
PS:
一般情况不使用pg_dump，它适用于PostgreSQL迁移到Greenplum。
pg_dump一次只能备份一个单独的数据库，且不能备份角色和表空间信息（因为这些信息是cluster-wide，而不是在某个数据库中（per-database））
5.1.4非并行恢复(pg_restore)
1) 使用由pg_dump或pg_dumpall创建的备份文件来恢复
2) 使用非并行恢复可以实现异构系统恢复
5.1.5备份数据库的四种选择
1) 为每个实例创建一个备份文件
可用于全库备份或者相同配置的系统之间迁移数据；
2) 使用gpcrondump进行定期备份
对gp_dump进行包装，使用cron调度GP数据库的后台进行备份；
调用gpcrondump的调度作业应该部署在GP的Master主机；
gpcrondump命令还备份数据库角色和服务器配置等数据库之外的对象
3) 使用pg_dump或pg_dumpall创建单个备份文件
可用于不同数据库之间少量数据迁移或备份；
4) 文件系统备份
借助操作系统或者其他第三方工具来进行备份，实现增量备份
5.2创建GP用户和数据库
5.2.1切换到测试用户，并配置环境变量
su gptestusr
source /opt/greenplum/db/greenplum_path.sh
5.2.2创建数据库用户，并进入数据库
CREATE USER testdb WITH PASSWORD 'password'; CREATE DATABASE testdb; GRANT ALL PRIVILEGES ON DATABASE testdb to testdb; ALTER ROLE testdb CREATEROLE CREATEDB;
修改greenplum配置文件：
vi /usr/local/yiliao/gpdata/gpmaster/gpseg-1/pg_hba.conf
进入数据库，输入密码的模式
psql -U testdb -d testdb -W
5.3 备份实例
测试数据库时表：
create table syn_test(id int,name varchar(10)) distributed by (id); insert into syn_test values(1,'ab'),(2,'dc'),(3,'dfs'),(4,'sfs'); create table syn_test2(id int,cost varchar(10)) distributed by (id); insert into syn_test2 values(11,'aa'),(22,'bb'),(55,'cc'),(77,'dd');
5.3.1 pg_dump & pg_restore
# 创建备份目录(root用户下)
mkdir /gpbackup
chown gpadmin.gpadmin /gpbackup/
# <1>表级别备份恢复
备份：pg_dump -t syn_test -Fc -U testdb -W testdb -f /gpbackup/syn_test_pgdump.dmp
恢复：pg_restore -d testdb /gpbackup/syn_test_pgdump.dmp
# <2>database级别备份恢复
备份：pg_dump testdb -Fc -Ugpadmin -W -f /gpbackup/testdb_pgdump.dmp
恢复：恢复之前需先创建空的数据库
5.3.2 pg_dumpall
gp_dump同时只能备份一个数据库。为了解决这个问题，就要使用pg_dumpall工具，它备份每个数据库和角色、表空间定义。
执行pg_dumpall需要超级用户权限。
# <1>导出所有role和tablespace
pg_dumpall -g >/gpbackup/role_tbs.sql
# <2>导出所有database
pg_dumpall >/gpbackup/all.dmp
5.3.3 gp_dump & gp_restore
# gp_dump
gp_dump是Greenplum的并行备份工具，Master和segment同时备份，备份保存在每个节点中。备份时间最长的节点决定着整个备份时长。
Segment节点备份的只有数据，而Master备份的是所有DDL命令和一些全局系统表（如gp_segment_configuration）。
执行gp_dump时，只有Segment的primary和active Master运行备份操作，Mirror和stanby Master不参与备份。
gp_dump在每个Segment上运行gp_dump_agent代理进程，将备份状态报告给Master的gp_dump进程。
备份：gp_dump testdb --table=syn_test --gp-d=/gpbackup/ --gp-r=/gpbackup/
# gp_restore
gp_restore命令使用gp_dump生成的备份文件恢复数据定义和用户的数据。特别要注意的时，gp_restore时需指定gp_dump备份时的时间戳（在gp_dump_.rpt中）。
执行gp_restore有如下要求：
gp_dump做的备份文件,并且备份文件在原始位置。
GPDB正常运行
GPDB的Segment节点数（包含primary和mirror）和备份时一致
要被恢复的数据库(database)已创建
使用gp_dump备份时指定了参数如-s (schema only) , -a (data only), --gp-c (compressed), --gp-d (alternate dump file location) ，那么使用gp_restore恢复时也要加上
恢复：gp_restore --gp-d=/gpbackup/ --gp-r=/gpbackup/ --gp-k=201807041720