Nginx网络架构实战学习笔记（六）：服务器集群搭建、集群性能测试

其他 2019-04-07 22:20:52 阅读次数: 0
版权声明：本文为作者原创，转载请注明出处，联系qq：32248827 https://blog.csdn.net/dataiyangu/article/details/88983875

文章目录

服务器集群搭建

fpm是一个独立的进程，独立进程是由父进程管理子进程，子进程没人用就回收了，对于高并发网站，几乎每时每刻都有人用，所以不让回收

Nginx---->php-fpm之间的优化

在这里插入图片描述
如上图,在很多个nginx来访问fpm时, fpm的进程要是不够用, 会生成子进程.

生成子进程需要内核来调度,比较耗时,
如果网站并发比较大,
我们可以用静态方式一次性生成若干子进程,保持在内存中.

方法 – 修改php-fpm.conf
Pm = static 让fpm进程始终保持,不要动态生成
Pm.max_children= 32 始终保持的子进程数量

302机器

cd /php/etc
php-fpm9000.conf php-fpm9001.conf php-fpm90002conf php-fpm90003conf
部分配置如下

pm =static//给固定的子进程，还可以是dynamic，dynamic就是可以回收的
pm.max_children=16//设置16个子进程，32个子进程，大概需要1g的内存。
listen = 192.168.xx.xx:9000  //设置为相应的9001 9002 9003，监听不同的端口

大概有80个进程

cd ../sbin
ls
php-fpm
cd ..
vim start.sh

start.sh

//-y的意思是通过不同的配置文件启动fpm
#!/bin/sh
/usr/1ocal/php/sbin/php-fpm -y /usr/local/php/etc/php-fpm.conf
/usr/local/php/sbin/php-fpm- y /usr/local/php/etc/php-fpm9001.conf
/usr/local/php/sbin/php-fpm -y /usr/local/php/etc/php-fpm9002.conf
/usr/local/php/sbin/php-fpm -y /usr/local/php/etc/php-fpm9003.conf
/usr/local/php/sbin/php-fpm -y /usr/local/php/etc/php-fpm9004.conf

//通过脚本重启php
pkill -9 php
./start.sh

进行一些高并发的调试

ulimit 30000
echo 50000 > /proc/sys/net/core/somaxconn
echo 1 > /proc/sys/net/ipv4/tcp_tw_recycle
echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse
echo 0 > /proc/sys/net/ipv4/tcp_syncookies

vi test.php
<?php
	for($sum=0,$1<10;$i++){
		$sum+=$i;
	}
echo $sum;

202机器

cd /usr/local/nginx
vi conf/nginx

http{
	upstream phpserver{
		server 192.168.1.200:9000;
		server 192.168.1.200:9001;
		server 192.168.1.200:9002;
		server 192.168.1.200:9003;
		server 192.168.1.200:9004;
	}

	location ~ \-phps {
		root html;
		fastcgi pass phpserver;
		fastcgi index index-php;
		fastcgi param SCRIPT FILENAME/scriptssfastcgi_script_name;
		include fastcgi params;
}
}

./sbin/nginx/reload

访问：http://192.168.1.202/test.php ，发现访问的是203服务器的php说明成功了。

扫描二维码关注公众号，回复： 5804729 查看本文章

压力测试

在204和201机器上分别5000个并发

//因为加入了php，所以并发量降低一点
//-c 2000个并发，-n 测试60000次
./bin/ab -c 2000 -n 60000 http://192.168.1.202/test.php

访问http://192.168.1.202/status
查看状态，发现有只有100以内
ab日志看直接超时了

在202机器查看错误日志

tail logs/error.log

搭建memcached、mysql（数据准备）

202机器
start.sh 脚本 （启动memcached）

//-c2000每个最多允许两千个并发连接，-m每人占512m
#!/bin/bash
/usr/local/memcached/bin/memcached -u nobody -c 2000 -p 11211 -m 512 -d
/usr/local/memcached/bin/memcached -u nobody -c 2000 -p 11212 -m 512 -d
/usr/local/memcached/bin/memcached -u nobody -c 2000 -p 11213 -m 512 -d
/usr/local/memcached/bin/memcached -u nobody -c 2000 -p 11214 -m 512 -d
/usr/local/memcached/bin/memcached -u nobody -c 2000 -p 11215 -m 512 -d
/usr/local/memcached/bin/memcached -u nobody -c 2000 -p 11216 -m 512 -d
/usr/local/memcached/bin/memcached -u nobody -c 2000 -p 11217 -m 512 -d
/usr/local/memcached/bin/memcached -u nobody -c 2000 -p 11218 -m 512 -d

pkill -9 memecached
//执行高并发的命令
ulimit 30000
echo 50000 > /proc/sys/net/core/somaxconn
echo 1 > /proc/sys/net/ipv4/tcp_tw_recycle
echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse
echo 0 > /proc/sys/net/ipv4/tcp_syncookies

201机器

局域网内关闭防火墙，防火墙在高并发的时候，也是一个阻碍的因素。

service iptable stop //四台都关掉
service mysql start
mysql -h 192.168.1.201 -uroot -p 
mysql>show databalse;
mysql>use big_data
mysql>show tablesdesc lx_com
mysql>select count(*) from 1x_com;
//发现一共10000+条数据

今晚就动手-。-

203机器

<? php
if this file be requested,
it's mean that the memcached was missed;
so we need set the value into memcached and output
#print_r(S_SERVER);
$mem =new memcache();
Smem->addserver('192.168.1.204',11211);
$mem->addserver('192.168.1.204',11212);
$mem->addserver('192.168.1.204',11213);
$mem->addserver('192.168.1.204',11214);
Smen->addserver('192.168.1.204',11215);
$mem->addServer('192.168.1.204',11216);
$men->addserver('192.168.1.204',11217);
$mem->addserve('192.168.1.204',11218)
$uri = $_SERVERI'REQUEST_URI'];
if(Suri == '/index.html') {
	Scont = 'this is index.html';
	$mem->add($uri,$cont,false,300);
	echo $cont;
else if(substr($uri,1,3) == 'com') {
	$comid = substr($uri,4,-5);
	#echo 'you want to see ',Scomid,'company';
	$conn = mysql pconnect('192.168.1.201','root',"))
	if(!$conn) {
		exit('conn mysql fail');
	}
	$sql= 'use big_data';
	mysql_query($sql,$conn);
}
echo 'from mysql'

用url当做key，去mysql中取，放到memcached中

202机器

vi conf/nginx.php

upstream mcserver{
	consistent hash Srequest_uri;
	server 192.168.1.204:11211;
	server 192.168.1.204:11212;
	server 192.168.1.204:11213;
	server 192.168.1.204:11214;
	server 192.168.1.204:11215;
	server 192.168.1.204:11216;
	server 192.168.1.204:11217;
	server 192.168.1.204:11218;
}

location / {
	set $memcached_key $request_uri;
	memcached_pass mcserver;
	error page 404 /callback.php;
	# root html:
	index index.html ihdex.htm;

./sbin/nginx -s reload

访问 http://192,168,1,202/index.html
第一次 this is index.html from mysql
第二次 this is index.html
访问 http://com122.html
返回数据库中的内容

集群性能测试

在201 204 分别进行压力测试

因为真正的访问有热门数据，有冷门数据
所以
模拟 前0-10万是热数据,
10- n万是冷门数据

vi bench.php

$mem =new memcache();
Smem->addserver('192.168.1.204',11211);
$mem->addserver('192.168.1.204',11212);
$mem->addserver('192.168.1.204',11213);
$mem->addserver('192.168.1.204',11214);
Smen->addserver('192.168.1.204',11215);
$mem->addServer('192.168.1.204',11216);
$men->addserver('192.168.1.204',11217);
$mem->addserve('192.168.1.204',11218)

Smin = 13423237;
//百分之九十五的情况下查询前十万条数据
if(mt_rand(0,100) <=95){
	$comid = $min + mt rand(0,100000);
}
else[
//八分之五的情况下查询后面的数据
	Scomid = mt_rand(0,$min);
}
if(!($cont=$mem->get('com'.$comid))){
	Sconn = mysql pconnect('192.168.1.201','root','');
		if(!Sconn) {
			exit('conn mysql fail');
		}
		$sql ='use big_data';
		mysql_query($sql,$conn);
		Ssql = 'set names utf8';
		mysql_query($sql,$conn);
		Ssql ='select id,name,address from lx_com where id='. $comid:
		//$sql = 'select id,name,address from lx_com where id=' . 	$comid;	
		srs=mysql_query($sql,$conn);
		Sinfo = mysql_fetch_assoc($rs);	
		if(empty($infol){
			echo 'no this company':
			exiti
		}
		Scont = '':
		$cont = '<h1>'. Sinfol'name"] .'</h1>':
		$cont .= '<h2>' . $infol'address'] .'</h2>':
		sem->add('com.$comid',$cont,0,300)
		echo $cont;
		echo '~~ from mysql';
}else{
	echo $cont 
}

访问 http://192.168.1.201/bench.php
有时会输出
no this company
有时会输出
常州xxx公司 武汉xxx公司

201机器

./ab -c 3000 -n 600000 http://192.168.1.202/bench.php

访问：http://102.168.1.202/status
保持在3000左右的并发

总耗时十分钟
访问600000
失败581069（注意ab第一次请求的内容认为是正常的内容，以后的内容都和第一次请求作比较，不一样就认为请求失败，所以这里并不是真正的请求失败）
百分之75是在1.5s左右

./ab -c 2000 -n 300000 http://192.168.1.202/bench.php

66%在1s以内

./ab -c 1500 -n 300000 http://192.168.1.202/bench.php

75%在1s以内

大部分时间耗在了连接memcached上了
修改上面的脚本

//加上true代表做持久连接
Smem->addserver('192.168.1.204',11211,true);
$mem->addserver('192.168.1.204',11212,true);
$mem->addserver('192.168.1.204',11213,true);
$mem->addserver('192.168.1.204',11214,true);
Smen->addserver('192.168.1.204',11215,true);
$mem->addServer('192.168.1.204',11216,true);
$men->addserver('192.168.1.204',11217,true);
$mem->addserve('192.168.1.204',11218,true)

时间上有毫秒级别的改进

nginx10000并发压力不大，加上php mysql memcached之后，2000-3000并发不是问题，因为网卡和服务器性能，基本上在几百毫秒，不是很满意，但这是硬件的限制了。

猜你喜欢

转载自blog.csdn.net/dataiyangu/article/details/88983875
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
循环神经网络（rnn）讲解
Tigao教程四：单独的关节运动
金蝶K3WISE15.0-注册套打教程
如何在Mac上配置Kubernetes
Android应用结束自身进程的方法
SpringMVC学习 十三 拦截器栈
中国驻洛杉矶总领馆举行新春招待会
HttpClient get post 发送
11 - three.js 笔记 - 绘制三维字体模型
Mysql递归获取某个父节点下面的所有子节点和子节点上的所有父节点
每日归档
更多
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022