Use nginx achieve reverse proxy role, with the function of load balancing.
Accept the client's request
|
Nginx (host)
|
|-------------------|
web1 web2 (client)
principle:
Like squid principle. For the client, nginx as a web server, the client believes access to all the content you are from the nginx. But nginx receives the client's request, in fact, it is understood the request, the self-generated new request, ask node obtain a copy of the back-end web content the client wants, and finally the content back to the client.
Client ----> nginx (client server) ------> web node (as the server nginx)
nginx
eth0 10.1.1.21
virbr5 192.168.19.1 <--- hostonly
web1
eth0 192.168.19.11
web2
eth0 192.168.19.12
www.upl.com ---> 10.1.1.21
Key master: learn to use nginx achieve reverse proxy configuration
Configuration template:
upstream backend {
server backend1.example.com weight=5;
server backend2.example.com:8080;
server unix:/tmp/backend3;
}
server {
location / {
proxy_pass http://backend;
}
}
First, deploy nginx, realization agency
1, install pcre, nginx
slightly
2, configure nginx
http{
....
upstream webservs {
server 192.168.19.11 max_fails=3 fail_timeout=30s weight=1;
server 192.168.19.12 max_fails=3 fail_timeout=30s weight=1;
}
server {
listen 80;
server_name www.upl.com upl.com;
charset utf8;
access_log logs/upl.com.access.log main;
location / {
proxy_pass http://webservs; //把请求调度给webservs定义的节点
proxy_set_header X-Real-IP $remote_addr;// 能够后端节点可以知道客户端IP
}
}
...
}
二、部署后端节点
1、安装web服务以及应用
略
2、配置apache,让其记录真正的客户端的IP
LogFormat "%{X-Real-IP}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
CustomLog logs/access_log combined <---使用combined格式记录日志
==============================================================================
使用mysql的复制技术实现对mysql架构的调优
mysql复制的常见拓扑
1、简单实现双机热备
r/w ro
| |
master -----> slave
slave起到一个在线热备份。
2、级联模式，进一步分担读压力
r/w ro ro
| | |
master ----> slave1 -----> slave2
存在“单点故障”，只要slave1出问题，slave2就无法同步到最新状态
3、一主多从 ,解决从服务器成为单点故障的问题
/-----> slave1
master --
\-----> slave2
master需要同时给后端两个节点发送日志，IO压力和网络压力都增加。
4、互为主从
master1 <------> master2
从mysql复制技术的角度来说，互为主从并不十分合理,一般都是不允许它们同时接受写请求，就算允许，也是哪些允许记录重复的应用数据。
以上的拓扑图，如果其中一个节点出故障，该如何处理？
实验1：
1、简单实现双机热备
r/w ro
| |
master2 -----> slave1
slave起到一个在线热备份。
master2
node1.upl.com
192.168.19.11
server-id=11
slave1
node2.upl.com
192.168.19.12
server-id=12
准备：
1、静态IP、FQDN主机名、hosts文件相互绑定
2、时间必须同步一致。
3、强烈要求mysql-server版本要一样。
软件：
rhel6u2
mysql-5.1 光盘自带
模拟情景：
架构初期，工程师并没有考虑到使用mysql双机热备架构，仅仅使用了一台mysql数据库服务器。
架构运作了一段时间之后，数据库的压力非常大，需要增加一台从数据库，实现双机热备，既可以降低单台数据库的读压力，又可以实现数据热备份。
考虑： 尽可能不要去关闭原来的数据库去部署双机热备，尽可能减少对原来的数据库的影响。
前提：必须原来就打开了二进制日志文件记录的功能，否则必须重启数据库
如果数据库的表使用的是innodb的存储引擎，那么一点影响都没有；如果表使用的是MyISAM等非事务类型的存储引擎，那么部署的时候，绝对会影响，至少数据库是不能正常的接受写请求。
一、部署master2数据库服务器
1、安装数据库，并且建立一些基本数据。
1）建立配置文件
注意： 考虑到后面的实验需求，必须打开二进制日志文件记录功能。
[mysqld]
user=mysql
datadir=/data
socket=/data/mysqld.sock
port=3306
skip-name-resolve ###
server-id=11 ####
log-bin=/data/mysqld-bin ###
log-bin-index=/data/mysqld-bin ###
sync-binlog=1 ###
[mysqld_safe]
log-error=/data/mysqld.err
pid-file=/data/mysqld.pid
2） 把配置文件涉及的用户、目录建立，保证权限正确
# mkdir /data/
# chown mysql:mysql /data
3）初始化数据
# mysql_install_db --datadir=/data --user=mysql
4）启动并且修改帐号密码等。
# mysqld_safe &
# mysqladmin -u root -S /data/mysqld.sock password '123'
# mysql -u root -p123 -S /data/mysqld.sock
mysql> update mysql.user set password=password('123')
-> where password='';
mysql> delete from mysql.user where user='';
5) 存放一些数据，模拟数据库是运行了一段时间
mysql> create database upl default charset utf8;
mysql> use upl;
mysql> create table user (
-> id int unsigned not null primary key auto_increment,
-> name varchar(32) );
mysql> insert into user values (NULL,'user1'),(NULL,'user2');
二、部署master2，为双机热备做好准备
前提：确定master2服务器打开了二进制日志记录、固定了server-id
1、建立帐号，授权允许进行复制二进制日志文件记录
mysql> grant replication slave on *.*
-> to slave@'192.168.19.%'
-> identified by '123';
2、开始备份数据库
备份数据库的手段：
热备份：
mysqldump （逻辑备份）
meb （物理备份）
不管使用什么的工具，只要是备份非事务的存储引擎，都是需要锁库，锁表，不允许写。
冷备份
关闭数据库，或者锁定数据库，不允许写操作，然后拷贝数据文件等
由于本数据库服务器使用的主要是myisam类型的表，所以使用以下参数： --lock-all-tables
# mysqldump -u root -p123 -S /data/mysqld.sock --all-databases --lock-all-tables --master-data=2 > ~/master2.sql
如果使用是以innodb类型的表为主
--single-transaction
# mysqldump -u root -p123 -S /data/mysqld.sock --all-databases --single-transaction
--master-data=2 > ~/master2.sql
--master-date=? 在备份数据库的时候，会把当前数据库的状态对应的二进制日志文件信息记录下来。
1 不会注释change master语句
2 在备份文件中，把change master语句注释起来
# vim master2.sql
....
....
-- CHANGE MASTER TO MASTER_LOG_FILE='mysqld-bin.000003', MASTER_LOG_POS=998;
《---在备份文件中记录了二进制日志信息
3、这个步骤并不是本次实验必须的步骤，仅仅是为了模拟数据库一直都在工作
mysql> insert into upl.user values (NULL,'user3');
mysql> select * from upl.user;
+----+-------+
| id | name |
+----+-------+
| 1 | user1 |
| 2 | user2 | <---以上的记录在master2.sql备份文件中都已经有了
| 3 | user3 | <---备份后添加
+----+-------+
三、部署slave1从服务器
1、安装相同版本的数据库
2、建立配置文件、用户、目录等
[mysqld]
datadir=/data
socket=/data/mysqld.sock
user=mysql
skip-name-resolve
server-id=12 # 确保从服务器使用的是一个与其他服务器不同的id
log-bin=/data/mysqld-bin
log-bin-index=/data/mysqld-bin
sync-binlog=1
relay-log=/data/relay-log # 记录从master上下载回来的更新操作
relay-log-index=/data/relay-log
log-slave-updates # 把下载回来的更新操作同时也记录到自己二进制日志文件中
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
# mkdir /data
# chown mysql:mysql /data
3、由于使用的是mysqldump备份来恢复，所以需要对服务器初始化数据目录
# mysql_install_db --datadir=/data --user=mysql
4、启动并且导出数据
# mysqld_safe &
# scp 192.168.19.11:~/master2.sql /tmp/master2.sql
导入数据
# mysql -u root -S /data/mysqld.sock < /tmp/master2.sql
强烈建议重启数据库
# mysqladmin -u root shutdown -S /data/mysqld.sock
# service mysqld start
5、设定如何连接master2
mysql> change master to
-> master_host='192.168.19.11',
-> master_user='slave',
-> master_password='123',
-> master_log_file='mysqld-bin.000003',
-> master_log_pos=998;
mysql> start slave; # stop slave;
mysql> show slave status \G;
*************************** 1. row ***************************
。。。。
Master_Log_File: mysqld-bin.000003
Read_Master_Log_Pos: 1127
Relay_Log_File: relay-log.000002
Relay_Log_Pos: 381
Relay_Master_Log_File: mysqld-bin.000003
Slave_IO_Running: Yes ##
Slave_SQL_Running: Yes ##
。。。
Exec_Master_Log_Pos: 1127
Relay_Log_Space: 530
。。。
Seconds_Behind_Master: 0
。。。
遇到故障：
1、找错误日志
2、如果是Slave_IO_Running: No
Slave_IO线程是负责连接主人，下载二进制日志记录。出问题，一般 ：
1） slave帐号是否错误了，是否能够连接
2） 日志文件的名字
3、如果Slave_SQL_Running: No
一般都是master_log_pos写错