一、简介
Nginx ("engine x") 是一个高性能的HTTP和反向代理服务器,特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页服务器中表现较好,中国大陆使用nginx网站用户有:百度、京东、新浪、网易、腾讯、淘宝等。
1.Nginx应用场景
Nginx可以作为静态页面的web服务器,同时还支持CGI协议的动态语言,比如perl、php等。但是不支持java,Java程序只能同各国与tomcat配合完成。nginx专为性能优化而开发,性能是最重要的考量,实现上非常注重效率,能经受高负载的而考验,有报告表明能支持高达 50,000个并发连接数。
news.netcraft.com/archives/ca…
2.反向代理
Nginx不仅可以做反向代理,实现负载均衡。还能用作正向代理来进行上网等功能。
正向代理:如果把局域网外的Internet想想成一个巨大的资源库,则局域网中的客户端要访问Internet,则需要通过代理服务器来访问,这种代理服务就称为正向代理。
反向代理:其实客户端对代理是无感知的,因为客户端不需要任何配置就可以访问,我们只需要将请求发送到反向代理服务器,由反向代理服务器去选择目标服务器获取数据后,再返回给客户端,此时反向代理服务器和目标服务器对外就是一个服务器,暴漏的是代理服务器地址,隐藏了真实服务器IP地址。
3.负载均衡
客户端发送多个请求给服务器,服务器处理请求,有一些可能要与数据库进行交互,服务器处理完毕后,再将结果返回给客户端。
这种架构模式对于早期的系统相对单一,并发请求相对较少的情况下是比较适合的,成本也低。但是随着信息数量的不断增长,访问量和数据量的飞速增长,以及系统业务的复杂度增加,这种架构会造成服务器响应客户端的请求日益缓慢,并发量特别大的时候,还容易造成服务器直接崩溃。
如何解决?
首先可以升级服务器的配置,比如提高CPU执行频率,加大内存等提高及其的物理性能来结局这个问题,但是对于比如双十一这样的级别,某个热销商品的并发量是非常庞大的,此时最顶级的物理配置都是不能满足需求的。
那么也就是说纵向解决问题的办法行不同了,那么我们可以考虑横向增加服务器的数量,这个时候集群的概念产生了,单个服务器解决不了,我们就增加服务器的数量,然后将请求分发到各个服务器上,将原先请求集中到单个服务器上的情况改为将请求分发到多个服务器上,将负载分发到不同的服务器,也就是负载均衡。
4.动静分离
为了加快网站的解析速度,可以把动态页面和静态页面由不同的服务器来解析,加快解析速度。降低原来单个服务器的压力。
二、安装
1.下载
nginx.org/ 下载 nginx-1.12.2.tar.gz
2.需要的安装包
pcre-8.37.tar.gz
openssl-1.0.1t.tar.gz
zlib-1.2.8.tar.gz
nginx-1.12.2.tar.gz
3.在线安装nginx
第一步,安装pcre
第一步 联网下载pcre
wget downloads.sourceforge.net/project/pcr…
第二步 解压压缩文件
使用命令 tar -zxvf pcre-8.37.tar.gz
第三步 ./configure完成后,回到pcre目录下执行make,最后执行make install
第四步 pcre-config --version 检查版本
第二步,安装openssl 、zlib 、 gcc 依赖
yum -y install make zlib zlib-devel gcc-c++ libtool openssl openssl-devel
第三步,安装nginx
使用命令解压
./configure
make && make install
进入目录 /usr/local/nginx/sbin 执行./nginx 启动服务
第四步,关闭防火墙,访问nginx
在windows系统中访问linux中nginx,默认不能访问的,因为防火墙问题
关闭防火墙-开放访问的端口号,80端口
查看开放的端口号
firewall-cmd --list-all
设置开放的服务或端口号
firewall-cmd --add-service=http --permanent
firewall-cmd --add-port=80/tcp --permanent
重启防火墙
firewall-cmd --reload
查看是否安装完成,可以在虚拟机上的浏览器中输入127.0.0.1:80,如果跳转成功就是安装完成了。也可以在主机上输入虚拟机ip地址:80,如果能访问,也算安装成功。
4.离线安装
第一步 安装pcre
解压缩pcre-xx.tar.gz包
进入解压缩目录,执行./configure
注意:如果提示错误,需要提前安装gcc++
执行 cd /run/media/root/CentOS 7 x86_64/Packages(已经从中拷贝出来了26个安装包,直接使用准备好的文件夹rpmgcc安装即可)
rpm -Uvh *.rpm --nodeps --force
检查安装后版本
gcc -v
g++ -v
复制代码
./configure完成后,回到pcre目录下执行make,再执行make install
第二步 安装openssl
解压缩openssl-xx.tar.gz包
进入解压缩目录,执行./config
make && make install
第三步 安装zlib
解压缩zlib-xx.tar.gz包
进入解压缩目录,执行./configure
make && make install
第四步 安装nginx
解压缩nginx-xx.tar.gz包
进入解压缩目录,执行./configure
make && make install
第五步 关闭防火墙,开放端口
三、Nginx常用命令和配置文件
1.常用命令
- 启动命令【在/usr/local/nginx/sbin目录下执行 ./nginx 】
- 关闭命令【在/usr/local/nginx/sbin目录下执行 ./nginx -s stop】
- 重新加载命令【在/usr/local/nginx/sbin目录下执行 ./nginx -s reload】
- 查看版本【在/usr/local/nginx/sbin目录下执行 ./nginx -v】
- 查看进程【ps -ef|grep nginx】
2.nginx.conf配置文件
nginx安装目录(/usr/local/nginx/conf/nginx.conf)下,其默认的配置文件都放在这个目录的conf目录下,而主配置文件nginx.conf也在其中,后续对nginx的使用基本上都是对次配置文件进行相应的修改。
我们可以将nginx.conf配置文件分为三部分;
-
全局块
从配置文件开始到events块之间的内容,主要会设置一些影响nginx服务器整体运行的配置指令,主要包括配置运行nginx服务器的用户(组),允许生成的worker process数,进程PID存放路径,日志存放路径类型以及配置文件的引入。
worker_processes 1; 复制代码
这是Nginx服务器并发处理服务器的关键配置,worker_processes值越大,可以支持的并发处理量也越多,但是会受到硬件、软件等设备的制约。
-
events块
比如
events{ worker_connections 1024; } 复制代码
events块设计的指令主要影响Nginx服务器和用户的网络连接,常用的设置包括是否开启对多work process下的网络连接进行序列化,是否允许同时接收多个网络连接,选取那种时间驱动模型来处理连接请求,每个work process可以同时支持的最大连接数等。
上述例子就表示每个work process支持的最大连接数是1024。
这部分的配置对Nginx的i性能影响比较大,在实际中应该灵活配置。
-
http块
者是nginx服务器配置中最频繁的部分,代理、缓存和日志定义等绝大多数共呢个和第三方木块的配置而都在这里。
需要注意的是:http块也可以包括http全局块、server块。
①、http 全局块
http全局块配置的指令包括文件引入、MIME-TYPE 定义、日志自定义、连接超时时间、单链接请求数上限等。
②、server 块
这块和虚拟主机有密切关系,虚拟主机从用户角度看,和一台独立的硬件主机是完全一样的,该技术的产生是为了节省互联网服务器硬件成本。
每个 http 块可以包括多个 server 块,而每个 server 块就相当于一个虚拟主机。
而每个 server 块也分为全局 server 块,以及可以同时包含多个 location 块。
1、全局 server 块
最常见的配置是本虚拟机主机的监听配置和本虚拟主机的名称或IP配置。
2、location 块
一个 server 块可以配置多个 location 块。
这块的主要作用是基于 Nginx 服务器接收到的请求字符串
(例如 server_name/uri-string),对虚拟主机名称(也可以是IP别名)之外的字符串(例如 前面的 /uri-string)进行匹配,对特定的请求进行处理。地址定向、数据缓存和应答控制等功能,还有许多第三方模块的配置也在这里进行。
四、反向代理
1.location指令说明
该指令用于匹配 URL。
语法如下:
1、= :用于不含正则表达式的 uri 前,要求请求字符串与 uri 严格匹配,如果匹配成功,就停止继续向下搜索并立即处理该请求。
2、~:用于表示 uri 包含正则表达式,并且区分大小写。
3、~*:用于表示 uri 包含正则表达式,并且不区分大小写。
4、^~:用于不含正则表达式的 uri 前,要求 Nginx 服务器找到标识 uri 和请求字符串匹配度最高的 location 后,立即使用此 location 处理请求,而不再使用 location 块中的正则 uri 的请求字符串做匹配。
注意:如果 uri 包含正则表达式,则必须要有 ~ 或者 ~* 标识。
2.实例
实现效果
使用nginx反向代理,根据访问的路径跳转到不同端口的服务中
nginx监听端口为9000,
访问 http://127.0.0.1:9000/edu/ 直接跳转到127.0.0.1:8080
访问 http://127.0.0.1:9000/vod/ 直接跳转到127.0.0.1:8081
准备
第一步,准备两个tomcat,一个8080端口,一个8081端口,并准备好测试的页面
webapps/edu/index.html
webapps/vod/index.html
第二步,修改nginx的配置文件,在http块中添加server{}
server{
listen 9000;
server_name localhost;
location /edu/{
proxy_pass http://localhost:8080;
}
location /vod/{
proxy_pass http://localhost:8081;
}
}
复制代码
五、负载均衡
1.nginx分配服务器策略
负载均衡就是将负载分摊到不同的服务单元,既保证服务的可用性,有保证响应足够快,给用户很好的体验。nginx提供了几种分配方式(策略):
(1)轮询(默认)
每个请求按照时间顺序逐一分配到不同的后端服务器,如果后端服务器down调,能自动剔除。
(2)weight
weight代表权,默认是1,权重越高被分配的客户端越多。
指定轮询几率,weight和访问比例成正比,用于后端服务器其性能不均的情况。
例如:
upstream server_pool{
server 192.168.5.21 weight=1;
server 192.168.5.22 weight=2;
server 192.168.5.23 weight=3;
}
复制代码
(3)ip_hash
每个请求按访问ip的hash结果分配这样每个方可固定访问一个后端服务器,可以解决session的问题。例如:
upstream server_pool{
ip_hash;
server 192.168.5.21:80;
server 192.168.5.22:80;
}
复制代码
(4)fair(第三方)
按后端服务器的响应时间来分配请求,响应时间短的优先分配。
upstream server_pool{
server 192.168.5.21:80;
server 192.168.5.22:80;
fair;
}
复制代码
(5)其他参数
注:
upstream myServer{
server 192.168.6.100:8080 down;
server 192.168.6.100:8081 weight=2;
server 192.168.6.100:8082 backup;
}
复制代码
-
down
表示当前的server暂时不参与负载。
-
weight
默认1.weight越大,负载的权重就越大
-
backup
其他所有非backup及其down或者忙的时候,请求backup机器。所以这台压力会最轻。
2.实例
实现效果
浏览器地址栏输入地址 http://192.168.6.100/edu/index.html,负载均衡效果,将请求平均分配到8080和8081两台服务器上。
准备工作
(1)准备两台tomcat服务器,一台8080,一台8081
(2)在两台tomcat里面webapps目录中,创建名称是edu文件夹,在edu文件夹中创建页面index.html(让index.html内容不一样,查看效果),用于测试
在nginx配置文件中进行负载均衡的配置
upstream称为上游服务器,即真实处理请求的业务服务器。
upstream myTomcatServer{
server 192.168.6.100:8080;
server 192.168.6.100:8081;
}
server{
listen 80;
server_name localhost;
location / {
root html;
proxy_pass http://myTomcatServer;
index index.html index.htm;
}
}
复制代码
六、动静分离
Nginx动静分离简单来说就是把动态跟静态分开,不能简单理解成只是单纯把静态页面和动态页面物理分离。严格意义上说应该是动态请求和静态请求分开,可以理解成使用Nginx处理静态页面,Tomcat处理动态页面。动静分离从目前实现角度讲大致分为两种:
-
纯粹把静态文件独立成单独的域名,放在独立的服务器上,也是目前主流推崇的方案。
-
动态跟静态文件混合在一起发布,通过Nginx分开。
通过location指定不同的后缀名实现不同的请求转发。
通过expires参数设置,可以设置浏览器缓存过期时间,减少服务器之前的请求和流量。
具体expires定义:是给资源设定一个过期时间,也就是说无需去服务端验证,直接通过浏览器自身确认是否过期即可,所以不会产生额外流量。
这种方法非常适合不经常变动的资源。(如果是经常更新的文件,不建议使用Expires来缓存)。设置参数值为3d,表示在这3天之内访问这个URL,发送一个请求,比对服务器该文件最后更新时间没有变化,则不会从服务器抓取,返回状态码304,如果有修改,则直接从服务器重新下载,返回状态码200.
实例
配置
1.静态资源准备
在/root目录下创建一个data目录,data目录下创建一个image目录,里面放一张图片。
2.nginx配置
找到nginx安装目录,打开/usr/local/nginx/conf/nginx.conf配置文件。
server{
listen 80;
server_name localhost;
location /images/ {
root /root/data/;
autoindex on;
}
location /edu/ {
root html;
proxy_pass http://myTomcatServer;
index index.html index.htm;
}
}
复制代码
添加监听端口、访问服务器名字;重点是添加location;
最后检查Nginx配置是否正确即可,然后测试动静分离是否成功。
测试
1.浏览器中输入地址
http://192.168,6,100/image/bj.jpg
2.如果出现403Forbidden,是权限原因
解决办法:
修改/usr/local/nginx/conf/nginx.conf配置文件
user root;
worker_processes 1;
复制代码
修改user为root角色
3.因为配置文件最后配置了autoindex on,所以访问/image/目录时可以列出目录中的内容,注意最后的/不能少。
七、Nginx原理和优化参数配置
1.Nginx原理
master-workers机制的优点
首先,对于每个worker进程来说,独立的进程,不需要加锁,所以省掉了锁带来的开销,同时在变成以及问题查找时,也会方便很多。
其次,采用独立的进程,可以让他们互相之间不会影响,一个进程退出后,其他进程还在工作,服务器不会中断,master进程则很快启动新的worker进程。
当然,worker进程的异常退出,肯定是程序有bug了,异常退出,会导致当前worker上的所有请求失败,不过不会影响到所有请求,所以降低了风险。
需要设置多少个worker
Nginx同redis类似都采用了io多路复用机制,每个worker都是一个独立的进程,但每个进程里只有一个主线程,通过异步非阻塞的方式来处理请求,即使是上千万个请求也不在话下。每个worker的线程可以把一个cpu的性能发挥到极致。
所以worker数和服务器的cpu数相等时最为适宜的。设置少了会浪费cpu,设置多了会造成cpu频繁切换上下文带来的损耗。
#设置worker数量
worker_processes 4
#work绑定cpu(4 work绑定4cpu)。
worker_cpu_affinity 0001 0010 0100 1000
#work绑定cpu (4 work绑定8cpu中的4个) 。
worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000
复制代码
#连接数
worker_connections 1024
复制代码
这个值表示每个worker进程所能建立连接的最大值,所以一个nginx能建立的最大连接数,应该是worker_connections*worker_processes。当然,这里说的是最大连接数,对于请求本地资源来说,能够支持的最大并发数量是worker_connections*worker_processes,如果是支持http1.1的浏览器每次访问要占两个连接,所以普通的静态访问最大并数是:worker_connections*worker_process/2,而如果是Http作为反向代理来说,最大并发数量应该是worker_connections*worker_processes/4。
【这是因为作为反向代理服务器,每个并发会建立与客户端的连接和与后端服务的连接,会占用两个连接】
面试题:
第一个:发送请求,占用了woker的几个连接数?
动态4个,静态2个。
第二个:nginx有一个master,有四个woker,每个woker支持最大的连接数1024,支持的最大并发数是多少?
(1*4*1024/2)
个静态资源并发数,(1*4*1024/4)
个动态资源的并发数
2.Nginx.conf配置详解
#安全问题,建议用nobody,不要用root.
#user nobody;
#worker数和服务器的cpu数相等是最为适宜
worker_processes 2;
#work绑定cpu(4 work绑定4cpu)
worker_cpu_affinity 0001 0010 0100 1000
#work绑定cpu (4 work绑定8cpu中的4个) 。
worker_cpu_affinity 0000001 00000010 00000100 00001000
#error_log path(存放路径) level(日志等级) path表示日志路径,level表示日志等级,
#具体如下:[ debug | info | notice | warn | error | crit ]
#从左至右,日志详细程度逐级递减,即debug最详细,crit最少,默认为crit。
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
#这个值是表示每个worker进程所能建立连接的最大值,所以,一个nginx能建立的最大连接数,应该是worker_connections * worker_processes。
#当然,这里说的是最大连接数,对于HTTP请求本地资源来说,能够支持的最大并发数量是worker_connections * worker_processes,
#如果是支持http1.1的浏览器每次访问要占两个连接,
#所以普通的静态访问最大并发数是: worker_connections * worker_processes /2,
#而如果是HTTP作为反向代理来说,最大并发数量应该是worker_connections * worker_processes/4。
#因为作为反向代理服务器,每个并发会建立与客户端的连接和与后端服务的连接,会占用两个连接。
worker_connections 1024;
#这个值是表示nginx要支持哪种多路io复用。
#一般的Linux选择epoll, 如果是(*BSD)系列的Linux使用kquene。
#windows版本的nginx不支持多路IO复用,这个值不用配。
use epoll;
# 当一个worker抢占到一个链接时,是否尽可能的让其获得更多的连接,默认是off 。
multi_accept on; //并发量大时缓解客户端等待时间。
# 默认是on ,开启nginx的抢占锁机制。
accept_mutex on; //master指派worker抢占锁
}
http {
#当web服务器收到静态的资源文件请求时,依据请求文件的后缀名在服务器的MIME配置文件中找到对应的MIME Type,再根据MIME Type设置HTTP Response的Content-Type,然后浏览器根据Content-Type的值处理文件。
include mime.types; #/usr/local/nginx/conf/mime.types
#如果 不能从mime.types找到映射的话,用以下作为默认值-二进制
default_type application/octet-stream;
#日志位置
access_log logs/host.access.log main;
#一条典型的accesslog:
#101.226.166.254 - - [21/Oct/2013:20:34:28 +0800] "GET /movie_cat.php?year=2013 HTTP/1.1" 200 5209 "http://www.baidu.com" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MDDR; .NET4.0C; .NET4.0E; .NET CLR 1.1.4322; Tablet PC 2.0); 360Spider"
#1)101.226.166.254:(用户IP)
#2)[21/Oct/2013:20:34:28 +0800]:(访问时间)
#3)GET:http请求方式,有GET和POST两种
#4)/movie_cat.php?year=2013:当前访问的网页是动态网页,movie_cat.php即请求的后台接口,year=2013为具体接口的参数
#5)200:服务状态,200表示正常,常见的还有,301永久重定向、4XX表示请求出错、5XX服务器内部错误
#6)5209:传送字节数为5209,单位为byte
#7)"http://www.baidu.com":refer:即当前页面的上一个网页
#8)"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; #.NET CLR 3.0.30729; Media Center PC 6.0; MDDR; .NET4.0C; .NET4.0E; .NET CLR 1.1.4322; Tablet PC 2.0); 360Spider": agent字段:通常用来记录操作系统、浏览器版本、浏览器内核等信息
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
#开启从磁盘直接到网络的文件传输,适用于有大文件上传下载的情况,提高IO效率。
sendfile on; //大文件传递优化,提高效率
#一个请求完成之后还要保持连接多久, 默认为0,表示完成请求后直接关闭连接。
#keepalive_timeout 0;
keepalive_timeout 65;
#开启或者关闭gzip模块
#gzip on ; //文件压缩,再传输,提高效率
#设置允许压缩的页面最小字节数,页面字节数从header头中的Content-Length中进行获取。
#gzip_min_lenth 1k;//超过该大小开始压缩,否则不用压缩
# gzip压缩比,1 压缩比最小处理速度最快,9 压缩比最大但处理最慢(传输快但比较消耗cpu)
#gzip_comp_level 4;
#匹配MIME类型进行压缩,(无论是否指定)"text/html"类型总是会被压缩的。
#gzip_types types text/plain text/css application/json application/x-javascript text/xml
#动静分离
#服务器端静态资源缓存,最大缓存到内存中的文件,不活跃期限
open_file_cache max=655350 inactive=20s;
#活跃期限内最少使用的次数,否则视为不活跃。
open_file_cache_min_uses 2;
#验证缓存是否活跃的时间间隔
open_file_cache_valid 30s;
upstream myserver{
# 1、轮询(默认)
# 每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。
# 2、指定权重
# 指定轮询几率,weight和访问比率成正比,用于后端服务器性能不均的情况。
#3、IP绑定 ip_hash
# 每个请求按访问ip的hash结果分配,这样每个访客固定访问一个后端服务器,可以解决session的问题。
#4、备机方式 backup
# 正常情况不访问设定为backup的备机,只有当所有非备机全都宕机的情况下,服务才会进备机。当非备机启动后,自动切换到非备机
# ip_hash;
server 192.168.161.132:8080 weight=1;
server 192.168.161.132:8081 weight=1 backup;
#5、fair(第三方)公平,需要安装插件才能用
#按后端服务器的响应时间来分配请求,响应时间短的优先分配。
#6、url_hash(第三方)
#按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器,后端服务器为缓存时比较有效。
# ip_hash;
server 192.168.161.132:8080 weight=1;
server 192.168.161.132:8081 weight=1;
#fair
#hash $request_uri
#hash_method crc32
}
server {
#监听端口号
listen 80;
#服务名
server_name 192.168.161.130;
#字符集
#charset utf-8;
#location [=|~|~*|^~] /uri/ { … }
# = 精确匹配
# ~ 正则匹配,区分大小写
# ~* 正则匹配,不区分大小写
# ^~ 关闭正则匹配
#匹配原则:
# 1、所有匹配分两个阶段,第一个叫普通匹配,第二个叫正则匹配。
# 2、普通匹配,首先通过“=”来匹配完全精确的location
# 2.1、 如果没有精确匹配到, 那么按照最大前缀匹配的原则,来匹配location
# 2.2、 如果匹配到的location有^~,则以此location为匹配最终结果,如果没有那么会把匹配的结果暂存,继续进行正则匹配。
# 3、正则匹配,依次从上到下匹配前缀是~或~*的location, 一旦匹配成功一次,则立刻以此location为准,不再向下继续进行正则匹配。
# 4、如果正则匹配都不成功,则继续使用之前暂存的普通匹配成功的location.
#不是以波浪线开头的都是普通匹配。
location / { # 匹配任何查询,因为所有请求都以 / 开头。但是正则表达式规则和长的块规则将被优先和查询匹配。
#定义服务器的默认网站根目录位置
root html;//相对路径,省略了./ /user/local/nginx/html 路径
#默认访问首页索引文件的名称
index index.html index.htm;
#反向代理路径
proxy_pass http://myserver;
#反向代理的超时时间
proxy_connect_timeout 10;
proxy_redirect default;
}
#普通匹配
location /images/ {
root images ;
}
# 反正则匹配
location ^~ /images/jpg/ { # 匹配任何以 /images/jpg/ 开头的任何查询并且停止搜索。任何正则表达式将不会被测试。
root images/jpg/ ;
}
#正则匹配
location ~*.(gif|jpg|jpeg)$ {
#所有静态文件直接读取硬盘
root pic ;
#expires定义用户浏览器缓存的时间为3天,如果静态页面不常更新,可以设置更长,这样可以节省带宽和缓解服务器的压力
expires 3d; #缓存3天
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
复制代码