Postgres-xl集群部署 + Haproxy 负载均衡

Postgres-xl 简介

Postgres的-XL是一个基于PostgreSQL数据库的横向扩展开源SQL数据库集群，具有足够的灵活性来处理不同的数据库工作负载:

完全ACID，保持事务一致性
OLTP 写频繁的业务
需要MPP并行性商业智能/大数据分析
操作数据存储
Key-value 存储
GIS的地理空间
混合业务工作环境
多租户服务提供商托管环境
Web 2.0

如图所示：（系统图）
Postgres-xl架构

组件介绍

Global Transaction Monitor (GTM)
全局事务管理器，确保群集范围内的事务一致性。
GTM负责发放事务ID和快照作为其多版本并发控制的一部分。
集群可选地配置一个备用GTM，以改进可用性。
此外，可以在协调器间配置代理GTM，可用于改善可扩展性，减少GTM的通信量。
GTM Standby
GTM的备节点，在pgxc,pgxl中，GTM
控制所有的全局事务分配，如果出现问题，就会导致整个集群不可用，
为了增加可用性，增加该备用节点。当GTM出现问题时，GTMStandby
可以升级为GTM，保证集群正常工作。
GTM-Proxy
GTM需要与所有的Coordinators通信，为了降低压力，
可以在每个Coordinator机器上部署一个GTM-Proxy。
Coordinator
协调员管理用户会话，并与GTM和数据节点进行交互。
协调员解析，并计划查询，并给语句中的每一个组件发送下一个序列化的全局性计划。
为节省机器，通常此服务和数据节点部署在一起。
Data Node
数据节点是数据实际存储的地方。数据的分布可以由
DBA来配置。为了提高可用性，可以配置数据节点的热备以便进行故障转移准备。

总结：
gtm是负责ACID的，保证分布式数据库全局事务一致性。得益于此，就算数据节点是分布的，但是你在主节点操作增删改查事务时，就如同只操作一个数据库一样简单。
Coordinator是调度的，将操作指令发送到各个数据节点。
datanodes是数据节点，分布式存储数据。

安装规划表：

注意：PGHOME=/home/pgxl_9.5

安装环境介绍

1).操作环境
    Window7 64位系统 电脑一台

2).使用工具
    putty:连接服务器
    pscp:主要用于windows向linux发送文件，或由linux系统向windows发送文件；

3).服务器
    3台服务器，并各自建立有3个虚拟机，系统版本统一为 Ubuntu(16.04.3)系统；
4).postgres-xl 版本： postgres-xl-9.5r1.4.tar.gz

安装准备

概述：安装准备，主要进行安装时，一些准备工作。

1)下载方式：
    a.git方式下载：
    git clone git://git.postgresql.org/git/postgres-xl.git

    注意：请安装git,可采用sudo apt-get install git

    b.网页下载：
    网址为：https://sourceforge.net/projects/postgres-xl/
    下载完后将软件包放入D盘根目录下

    注意：这里采用网页方式下载，主要是因为ubuntu安装的git,下载该软件包比较麻烦。

2)将下载好的压缩包传送到规划表中IP地址172.17.30.15 -- 172.17.30.22 共8个系统中
    a.采用Putty连接服务器：
        (1)点击Session:
            Host Name(or IP address):输入连接服务器的IP,点击Open连接到服务器
        (2)在根目录下新建文件夹 postgres-xl_installPackage ，用以存放postgres-xl压缩包               

    b.采用pscp传送文件:
        (1)下载pscp工具：
            下载网址：https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html
        (2)将下载好的pscp.exe文件放到putty.exe一样的目录
        (3)开始-运行-打开cmd窗口：
            1.进入到pscp.exe目录 
            2.输入如下命令进行传送：
            pscp 传送文件 主机名@IP:传送目录
            如：
            pscp D:\postgres-xl-9.5r1.4.tar.gz [email protected]:./postgres-xl_installPackage

安装Postgres-xl前配置

概述：介绍在Postgres-xl安装前，一些配置。
注意：除了安装负载均衡的服务器外，都要安装。
分为：
        1：解压postgres-xl压缩包
        2：创建一个用户，用户名为postgres,密码为123456
        3：为postgres用户设置免密登录
        4：修改/etc/hosts中内容
        5：安装postgrex-xl相关依赖包
        6：编译安装postgres-xl
        7：设置postgres-xl环境变量

1 解压postgrex-xl压缩包

1)将文件夹postgres_installPackage 目录下的压缩包解压
    a.进入压缩包目录cd /postgres_installPackage    
    b.解压文件：sudo tar –zvxf  postgres-xl-9.5rl.4.tar.gz

2 创建一个用户，用户名为postgres,密码为123456

1)创建用户，用户名：posgres,密码为：123456
    a.创建用户：sudo adduser postgres
    b.设置用户密码：按提示输入即可
    c.如下图所示
    d.删除用户时，使用命令：sudo deluser 用户名

 注意：建议不使用sudo useradd postgres创建，如果创建了，请输入sudo userdel postgres删除。

注意：除了安装负载均衡的服务器外，都要安装。

如图所示：
这里写图片描述

3 为postgres用户设置免密登录

  在ubuntu中用户输入：sudo usermod –a –G sudo postgres
 切换用户为postgres: 输入如下命令sudo postgres

 1)设置密钥
     输入命令 sudo ssh-keygen,一直接按enter即可

注意：如果sudo ssh-keygen有错误，可尝试ssh-keygen

如图所示：
这里写图片描述

 2)密钥传输（除了当前IP地址，每个IP地址都传输一次）
    命令：ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

注意：！！！
    1.除了安装负载均衡的服务器外，都要进行密钥传输。可以简单理解：假如有三台服务器用来部署postgres-xl,分别A,B,C.在进行密钥传输时，A的密钥，传输给B,C；B的密钥，传输给A,C；C的密钥，传送给A,B;

    2.主要修改[email protected]。将IP=172.17.30.204改为要传输服务器的IP即可

    3.可以通过ifconfig 进行查询Ip

如图所示：配置IP：172.17.30.204 传送到172.17.30.204(例子)

4 修改/etc/hosts中内容

概述：配置主机IP及对应的主机名
1).采用命令：sudo vi /etc/hosts
2).验证：ping Ip eg: ping 172.17.30.204
3).如果验证不通过，可能需要重启：sudo reboot

注意： ！！！
    1.除了安装负载均衡的服务器外，都要进行修改。
    2.每台服务器（除了安装负载均衡的服务器),都要添加（除了安装负载均衡的服务器)的所有IP和主机名

eg:如果有三台服务器,每台服务器添加
添加内容：
    172.17.30.15 devcenter015
        172.17.30.16 devcenter016
        172.17.30.17 devcenter017
        172.17.30.18 devcenter018
        172.17.30.19 devcenter019
        172.17.30.20 devcenter020
        172.17.30.21 devcenter021
        172.17.30.22 devcenter022
        172.17.30.204 devcenter04
        172.17.30.215 devcenter15
        172.17.30.220 devcenter20

如图所示：

这里写图片描述

5 安装postgres-xl相关依赖包

概述：安装postgres-xl进行编译时，所需要的依赖包

依赖包：
make 、flex、bison、openjade、docbook-dsssl
readline、zlib

ubuntu:安装命令sudo apt-get install 安装包名

注意：
    1.readline,zlib在ubuntu就存在了
    2.可以通过如下命令进行查看：
        ldconfig -p | grep readline

    3.可以安装： sudo apt-get install libreadline6-dev

6 编译安装postgres-xl

概述：如何安装postgres-xl

注意：如下操作，请切换到postgres用户下进行。采用
su postgres切换

1）.编译安装postgres-xl

    a.在/home/postgres下创建目录
        采用命令： sudo mkdir /home/postgres/pgxl_9.5

    b.进入到postgres-xl的解压目录
        eg:
            cd /postgres-xl_installPackpage/pgxlgres-xl-9.5rl.4 

    c.执行如下命令：
        ./configure --prefix=/home/postgres/pgxl_9.5 --without-readline --without-zlib
    主要是将编译好的一些文件放在指定目录下

    d.执行如下命令：（编译）
        make

    e.执行安装命令：
        sudo make install

注意:sudo make install有错误时，请执行make install安装

如图所示：(./configure –prefex=/home/postgres/pgxl_9.5)
这里写图片描述
如图所示：(make)

如图所示:(sudo make install)

7 设置postgres环境变量

概述：主要将/home/postgres/.bashrc添加内容

内容如下：
#set postgres path
export PGHOME=/home/postgres/pgxl_9.5
export LD_LIBRARY_PATH=$PGHOME/lib:$LD_LIBRARY_PATH
export PATH=$PGHOME/bin:$PATH

1). 使得修改的内容生效：source /home/postgres/.bashrc

2).验证如下：输入echo $PGHOME 出现：/home/postgres/pgxl_9.5

初始化gtm,coordinator,datanode

概述：初始化gtm,coordinator,datanode生成相关配置文件

    1).根据规划表格，创建相应目录gtm,coordinator,datanode目录
    eg:
        在172.17.30.16的创建/home/postgres/pgxl_9.5/data,以及/home/postgres/pgxl_9.5/data/dn1和/home/postgres/pgxl_9.5/data/dn2目录

    2).初始化gtm角色
        a.设置目录权限：eg:sudo chown postgres /home/postgres/pgxl_9.5/data/gtm
            b.执行命令：initgtm -Z gtm -D /home/postgres/pgxl_9.5/data/gtm

    3.初始化coordinator角色
        a.设置目录权限：eg:sudo chown postgres /home/postgres/pgxl_9.5/data/coord1
        b.执行命令：initdb -D /home/postgres/pgxl_9.5/data/coord1 --nodename coord1 -E UTF8 --locale=C -U postgres -W

    4.初始化datanode角色
        a.设置目录权限：eg:sudo chown postgres /home/postgres/pgxl_9.5/data/dn1
        b.执行命令：initdb -D /home/postgres/pgxl_9.5/data/dn1 --nodename dn1 -E UTF8 --locale=C -U postgres –W
        注意：
            nodename dn1:根据创建目录名字修改。如/home/postgres/pgxl_9.5/data/dn3初始化时，为initdb -D /home/postgres/pgxl_9.5/data/dn3 --nodename dn3 -E UTF8 --locale=C -U postgres –W

    注意：
        1.请在安规表格中分配角色，进行相应的初始化操作。如，172.17.30.215中分配两个datanode角色，相应目录为/home/postgres/pgxl_9.5/data/dn1，/home/postgres/pgxl_9.5/data/dn2,所以初始化时执行initdb -D /home/postgres/pgxl_9.5/data/dn1 --nodename dn1 -E UTF8 --locale=C -U postgres –W和initdb -D /home/postgres/pgxl_9.5/data/dn2 --nodename dn2 -E UTF8 --locale=C -U postgres –W

        2.如果不执行设置目录权限，可能直接执行初始化命令，会出错

如图所示：（初始化gtm）
这里写图片描述
如图所示：（初始化coordinator）

如图所示：（初始化datanode）

修改postgrex-xl配置文件

概述：根据初始化gtm,coordinator,datanode生成的配置文件，进行相应的修改

1).修改gtm生成的配置文件：gtm.conf.文件所在目录为：/home/postgres/pgxl_9.5/data/gtm
    修改内容为：
        nodename = 'gtm'

        listen_addresses = '*'

        port =6666          #gtm端口

        startup = ACT
        注意：有的前面有‘#’,去掉#号

2).修改coordinator生成的配置文件：postgresql.conf文件。文件所在目录：/home/postgres/pgxl_9.5/coordinator角色目录。eg:/home/postgres/pgxl_9.5/coord1
    修改内容：
        # - Connection Settings -  （修改一）
        listen_addresses = '*'
        port = 5301  #coordinator端口设置，coord1和coord2端口都为5301
        max_connections = 100

        # DATA NODES AND CONNECTION POOLING （修改二）
        #----------------------------------
        pooler_port = 6701      #coord2这个端口也改为6701
        max_pool_size = 100

        # GTM CONNECTION
        #--------------------------
        gtm_host = '172.17.30.16'   # gtm所在的主机地址
        gtm_port = 6666    #gtm配置中，gtm端口号配置为6666

    注意：根据实际情况进行修改

3).修改coordinator,datanode中的pg_hba.conf文件，文件所在目录：/home/postgres/pgxl_9.5/相应角色目录。eg:/home/postgres/pgxl_9.5/coord1
        修该内容：
        # "local" is for Unix domain socket connections only

        local   all       all                  trust

        # IPv4 local connections:

        host    all      all     0.0.0.0/0      trust

        # IPv6 local connections:

        host    all      all     ::1/128         trust

4).修改datanode生成的配置文件：postgresql.conf文件。文件所在目录：/home/postgres/pgxl_9.5/datanode角色目录。eg:/home/postgres/pgxl_9.5/coord1
    修改内容：
        # - Connection Settings -  （修改一）
        listen_addresses = '*'
        port = 5401  #注意：同一台服务器中端口不同，但不同服务器的端口可以相同dn2，dn3,dn4配置文件分别改为5402、5401、5402，dn3和dn4在一台服务器上
        max_connections = 100

        # DATA NODES AND CONNECTION POOLING （修改二）
        #----------------------------------
        pooler_port = 6801      #dn2，dn3,dn4配置文件都改为6801
        #同一台机器要使用不同的端口，如dn1，dn2在同一台机器上分别是6801,6802
        #dn3，dn4上端口号也是6801,6802。就是同一机器端口号不同即可。

        max_pool_size = 100

        # GTM CONNECTION
        #--------------------------
        gtm_host = '172.17.30.16'   # gtm所在的主机地址
        gtm_port = 6666    #gtm配置中，gtm端口号配置为6666

    注意：根据实际情况进行修改



5).重启gtm,coordinator,datanode服务器
        采用命令：sudo reboot

  注意：当sudo reboot有问题时，可以采用reboot命令

如图所示：（修改gtm）
这里写图片描述
如图所示：（修改coordinator）

修改一：
这里写图片描述
修改二：

修改三：

如图所示：（修改datanode）

修改一：
这里写图片描述
修改二：

修改三：

启动postgres-xl

启动顺序：
1.启动gtm
2.启动全部DataNode
3.最后启动全部coordinator

1).启动gtm:gtm_ctl start -Z gtm -D /home/postgres/pgxl_9.5/data/gtm

2).启动datanode:pg_ctl start -Z datanode -D /home/postgres/pgxl_9.5/data/dn1
    注意：有多少个datanode,就得启动多少个datanode,注意修改目录，如启动datanode2:pg_ctl start -Z datanode -D /home/postgres/pgxl_9.5/data/dn2

3).启动coordinator:pg_ctl start -Z coordinator -D /home/postgres/pgxl_9.5/data/coord1
    注意：有多少个coordinator,就得启动多少个coordinator,注意修改目录，如启动pg_ctl start -Z coordinator -D /home/postgres/pgxl_9.5/data/coord2

如图所示：（启动gtm）

这里写图片描述

如图所示：（启动datanode）

这里写图片描述

如图所示： (启动coordinator)

如图所示：（修改coordinator,datanode中的pg_hba.conf文件）

这里写图片描述