HTTP服务和APACHE

本章内容

Internet

SOCKET概念

http协议

Httpd介绍

Httpd2.2配置

Httpd2.4配置

编译安装httpd

互联网Internet

互联网Internet.png

Internet与中国

Internet最早来源于美国国防部高级研究计划局ARPA建立的ARPANet，1969年投入运行。1983年，ARPAnet分裂为两部分：ARPAnet和纯军事用的MILNET。当年1月，ARPA把TCP/IP协议作为ARPAnet的标准协议，这个以ARPAnet为主干网的网际互联网便被称为Internet。1986年，美国国家科学基金会建立计算机通信网络NSFnet。此后，NSFNet逐渐取代ARPANet在Internet的地位。1990年，ARPANet正式关闭

北京时间1987年9月20日，钱天白建立起一个网络节点，通过电话拨号连接到国际互联网，向他的德国朋友发出来自中国的第一封电子邮件：Across the Great Wall we can reach every corner in the world，自此，中国与国际计算机网络开始连接在一起

Internet与中国.png

•1990年10月

钱天白教授代表中国正式在国际互联网络信息中心的前身DDN-NIC注册登记了我国的顶级域名CN，并且从此开通了使用中国顶级域名CN的国际电子邮件服务。由于当时中国尚未正式连入Internet，所以委托德国卡尔斯鲁厄大学运行CN域名服务器

•1993年3月2日

×××高能物理研究所租用AT&T公司的国际卫星信道接入美国斯坦福线性加速器中心（SLAC）的64K专线正式开通,专线开通后，美国政府以Internet上有许多科技信息和其它各种资源，不能让社会主义国家接入为由，只允许这条专线进入美国能源网而不能连接到其它地方。尽管如此，这条专线仍是我国部分连入Internet的第一根专线

•1994年4月20日

中国实现与互联网的全功能连接，被国际上正式承认为有互联网的国家

•1994年5月21日

在钱天白教授和德国卡尔斯鲁厄大学的协助下，×××计算机网络信息中心完成了中国国家顶级域名(CN)服务器的设置，改变了中国的CN顶级域名服务器一直放在国外的历史

•1996年1月

中国互联网全国骨干网建成并正式开通，开始提供服务

•1995年4月

马云凑了两万块钱，成立杭州海博网络公司，专门给企业做主页

•1997年5月

丁磊创立网易

•1998年

张朝阳创立搜狐。

•1998年6月18日

刘强东在中关村创办京东公司，代理销售光磁产品

•1998年11月

马化腾和张志东成立深圳市腾讯计算机系统有限公司，OICQ开通

•1998年12月

新浪网成立，关键人物：王志东

•2000年1月

李彦宏创建了百度

•2003年5月

阿里巴巴集团在创立淘宝网

•2003年10月

淘宝网首次推出支付宝服务

•2004年1月

京东多媒体网正式开通，启用域名www.jdlaser.com

•2010年4月

雷军创办小米

•2011年1月21日

腾讯公司推出微信(WeChat)

•2012年7月10日

北京小桔科技有限公司成立，滴滴司机端3个月后北京上线

•2016年4月

摩拜单车在上海上线

下一个又是谁呢？

中国互联网连接世界

1885年台湾建省，首任巡抚刘铭传派人与福州船政联系，使用船政电报学堂毕业生为技术人员，于1887年铺设成功台湾淡水至福州川石海底电缆，全长117海里。这是我国自行设计安装的第一条海底电缆。此电缆毁于第二次世界大战

我国于1989年开始投入到全球海底光缆的投资与建设中来，并于1993年实现了首条国际海底光缆的登陆（中日之间C-J海底光缆系统）；随后在1997年，我国参与建设的全球海底光缆系统（FLAG）建成并投入运营，这也是第一条在我国登陆的洲际海底光缆

中国连接世界目前共有8条光缆，四个登陆站允许入境，目前我国的登陆站设立在三个城市的四个地区，分别是山东青岛登陆站（隶属中国联通）、上海崇明登陆站（隶属中国电信）、上海南汇登陆站（隶属中国联通）和广东汕头登陆站（隶属中国电信）

1987年9月20日，在北京ICA王运丰教授和西德卡尔斯鲁厄大学维尔纳·措恩教授的主导下，×××大陆地区与外界互联网创建了首个连接。而中国第一封成功对外发出的电邮则是在1987年9月14日发出，内容为“Across the Great Wall we can reach every corner in the world”（越过长城，走向世界每个角落）

然而，我们还是不能访问Google！

TCP/IP协议

TCP IP协议.png

跨Internet的主机间通讯

在建立通信连接的每一端，进程间的传输要有两个标志：

IP地址和端口号，合称为套接字地址socket address

客户机套接字地址定义了一个唯一的客户进程

服务器套接字地址定义了一个唯一的服务器进程

跨Internet的主机间通讯.png

Socket套接字

Socket套接字.png

Socket:套接字，进程间通信IPC的一种实现，允许位于不同主机（或同一主机）上不同进程之间进行通信和数据交换，SocketAPI出现于1983年，42BSD实现

SocketAPI：封装了内核中所提供的socket通信相关的系统调用

Socket Domain：根据其所使用的地址

AF_INET：AddressFamily，IPv4

AF_INET6：IPv6

AF_UNIX：同一主机上不同进程之间通信时使用（Socket文件，*.sock文件）

Socket Type：根据使用的传输层协议

SOCK_STREAM：流，tcp套接字，可靠地传递、面向连接

SOCK_DGRAM：数据报，udp套接字，不可靠地传递、无连接

SOCK_RAW:裸套接字,无须tcp或tdp,APP直接通过IP包通信

客户/服务器程序的套接字函数

建立连接后，就不再分客户端和服务器端

客户服务器程序的套接字函数.png

系统调用

套接字相关的系统调用：

socket():创建一个套接字

bind()：绑定IP和端口

listen()：监听

accept()：接收请求

connect()：请求连接建立

write()：发送

read()：接收

close():关闭连接

Socket通信示例：服务器端tcpserver.py

import socket

HOST='127.0.0.1'

PORT=9527

BUFFER=4096

sock=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

sock.bind((HOST,PORT))

sock.listen(3)

print('tcpServer listen at: %s:%s\n\r' %(HOST,PORT))

while True:

client_sock,client_addr=sock.accept()

print('%s:%s connect' %client_addr)

while True:

recv=client_sock.recv(BUFFER)

if not recv:

client_sock.close()

break

print('[Client %s:%s said]:%s' %(client_addr[0],client_addr[1],recv))

client_sock.send('tcpServer has received your message')

sock.close()

Socket通信示例：服务器端tcpclient.py

import socket

HOST='127.0.0.1'

PORT=9527

BUFFER=4096

sock=socket.socket(socket.AF_INET,socket.SOCK_STREAM)

sock.connect((HOST,PORT))

sock.send('hello, tcpServer!')

recv=sock.recv(BUFFER)

print('[tcpServer said]: %s' % recv)

sock.close()

实验：两台机分别作为客户端和服务器端作Socket通信

root和非root用户都可以用这两个python脚本通信，但非root用户不能使用1~1023端口

HTTP服务通信过程

HTTP服务通信过程 1.png

HTTP服务通信过程 2.png

HTTP服务通信过程 3.png

HTTP相关术语

http: Hyper Text Transfer Protocol, 80/tcp 超文本传输协议

html: Hyper Text Markup Language 超文本标记语言，编程语言

示例：

<html>

<head>

<title>html语言</title>

</head>

<body>

</body>

</html>

CSS: Cascading Style Sheet 层叠样式表

js: javascript

互联网岗位：前端策划，前端美工，前端开发，后端开发，测试，DBA，运维

Http相关术语

MIME： Multipurpose Internet Mail Extensions

多用途互联网邮件扩展 /etc/mime.types

格式：major/minor

text/plain

text/html

text/css

image/jpeg

image/png

video/mp4

application/javascript

参考：http:// www.w3school.com.cn/media/media_mimeref.asp

可学习前端知识，可以现场测试

HTTP协议介绍

HTTP协议介绍.png

http/09：1991，原型版本，功能简陋，只有一个命令GET。GET /index.html ,服务器只能回应HTML格式字符串，不能回应别的格式

http/10: 1996年5月,支持cache, MIME, method

每个TCP连接只能发送一个请求，发送数据完毕，连接就关闭，如果还要请求其他资源，就必须再新建一个连接

引入了POST命令和HEAD命令

头信息是 ASCII 码，后面数据可为任何格式。服务器回应时会告诉客户端，数据是什么格式，即Content-Type字段的作用。这些数据类型总称为MIME 多用途互联网邮件扩展，每个值包括一级类型和二级类型，预定义的类型，也可自定义类型, 常见Content-Type值：text/xml image/jpeg audio/mp3

HTTP协议介绍

http/11：1997年1月

引入了持久连接（persistent connection），即TCP连接默认不关闭，可以被多个请求复用，不用声明Connection: keep-alive。对于同一个域名，大多数浏览器允许同时建立6个持久连接

引入了管道机制（pipelining），即在同一个TCP连接里，客户端可以同时发送多个请求，进一步改进了HTTP协议的效率

新增方法：PUT、PATCH、OPTIONS、DELETE

同一个TCP连接里面，所有的数据通信是按次序进行的。服务器只能顺序处理回应，前面的回应慢，会有许多请求排队，造成"队头堵塞"（Head-of-line blocking）

为避免上述问题，两种方法：一是减少请求数，二是同时多开持久连接。网页优化技巧，比如合并脚本和样式表、将图片嵌入CSS代码、域名分片（domain sharding）等

HTTP 协议不带有状态，每次请求都必须附上所有信息。请求的很多字段都是重复的，浪费带宽，影响速度

HTTP协议介绍

Spdy：2009年,谷歌研发,解决 HTTP/11 效率不高问题

http/20：2015年

头信息和数据体都是二进制，称为头信息帧和数据帧（我们直接看不了了）

复用TCP连接，在一个连接里，客户端和浏览器都可以同时发送多个请求或回应，且不用按顺序一一对应，避免了“队头堵塞”,此双向的实时通信称为多工（Multiplexing）

引入头信息压缩机制（header compression）,头信息使用gzip或compress压缩后再发送；客户端和服务器同时维护一张头信息表，所有字段都会存入这个表，生成一个索引号，不发送同样字段，只发送索引号，提高速度

HTTP/2 允许服务器未经请求，主动向客户端发送资源，即服务器推送（server push）

HTTP工作机制

工作机制：

http请求：http request

http响应：http response

一次http事务：请求<-->响应

Web资源：web resource

一个网页由多个资源构成，打开一个页面，会有多个资源展示出来，但是每个资源都要单独请求。因此，一个“Web 页面”通常并不是单个资源，而是一组资源的集合

静态文件：无需服务端做出额外处理

例如：http://www.a.com/file1

文件后缀：jpg, html, txt, js, css, mp3, avi

动态文件：服务端执行程序，返回执行的结果

文件后缀：asp, php, jsp

HTTP工作机制

提高HTTP连接性能

并行连接：通过多条TCP连接发起并发的HTTP请求

持久连接：keep-alive,长连接，重用TCP连接，以消除连接和关闭的时延,以事务个数和时间来决定是否关闭连接

管道化连接：通过共享TCP连接发起并发的HTTP请求

复用的连接：交替传送请求和响应报文（实验阶段）

HTTP连接请求

HTTP连接请求.png

串行和并行连接

串行和并行连接 1.png

串行,持久连接和管道

串行,持久连接和管道.png

URI

URI: Uniform Resource Identifier 统一资源标识，分为URL和URN

URN: Uniform Resource Naming，统一资源命名

示例： P2P下载使用的磁力链接是URN的一种实现

magnet:?xt=urn:btih:660557A6890EF888666

URL: Uniform Resorce Locator，统一资源定位符，用于描述某服务器某特定资源位置

两者区别：URN如同一个人的名称，而URL代表一个人的住址。换言之，URN定义某事物的身份，而URL提供查找该事物的方法。URN仅用于命名，而不指定地址

URL组成

scheme:方案，访问服务器以获取资源时要使用哪种协议

user:用户，某些方案访问资源时需要的用户名

password:密码，用户对应的密码，中间用：分隔

Host:主机，资源宿主服务器的主机名或IP地址

port:端口,资源宿主服务器正在监听的端口号，很多方案有默认端口号

path:路径,服务器资源的本地名，由一个/将其与前面的URL组件分隔

params:参数，指定输入的参数，参数为名/值对，多个参数，用;分隔

query:查询，传递参数给程序，如数据库，用？分隔,多个查询用&分隔

例：https://search.jd.com/Search?keyword=小米8&enc=utf-8&wq=小米8 &pvid=ebfbe4a0f4614940b18d1e6466c37014

转化为where语句，应该为：where keyword=小米8 and enc=utf-8 and wq=小米8 and pvid=ebfbe4a0f4614940b18d1e6466c37014

frag:片段,一小片或一部分资源的名字，此组件在客户端使用，用#分隔

URL示例

http://www.abc.com:8080/images/logo.jpg

ftp://abc:[email protected]/pub/linux.ppt

rtsp://videoserver/video_demo/

eal Time Streaming Protocol

http://www.abc.com/bbs/hello;gender=f/send;type=title

https://list.jd.com/list.html?cat=670,671,672&ev=149_2992&sort=sort_totalsales15_desc&trans=1

http://apache.org/index.html#projects-list

网站访问量

IP(独立IP)：即Internet Protocol,指独立IP数。一天内来自相同客户机IP地址只计算一次，记录远程客户机IP地址的计算机访问网站的次数，是衡量网站流量的重要指标

PV(访问量)：即Page View, 页面浏览量或点击量，用户每次刷新即被计算一次，PV反映的是浏览某网站的页面数，PV与来访者的数量成正比，PV并不是页面的来访者数量，而是网站被访问的页面数量

UV(独立访客)：即Unique Visitor,访问网站的一台电脑为一个访客。一天内相同的客户端只被计算一次。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过来访电脑的cookies实现的。如果更换了IP后但不清除cookies，再访问相同网站，该网站的统计中UV数是不变的

网站统计：http://www.alexa.cn/rank/

网站访问统计示例

示例：

甲乙丙三人在同一台通过ADSL上网的电脑上（中间没有断网），分别访问www.abc.com网站，并且每人各浏览了2个页面，那么网站的流量统计是：

IP: 1 PV:6 UV：1

若三人都是ADSL重新拨号后,各浏览了2个页面，则

IP: 3 PV:6 UV：1

网站访问量

QPS：request per second，每秒请求数

PV，QPS，并发连接数换算公式

QPS= PV* 页衍连接次数/ 统计时间（86400）例：10^6*100/86400=1157

并发连接数 =QPS * http平均响应时间例：1157*2=2314

峰值时间：每天80%的访问集中在20%的时间里，这20%时间为峰值时间

峰值时间每秒请求数(QPS)=( 总PV数 *页衍连接次数）*80% ) / ( 每天秒数 * 20% )

例：www.baidu.com

PV=1876692000

QPS=1876692000*15/86400=325814

峰值QPS=(1876629000*15)*0.8/(86400*0.2)= 1303214

峰值并发连接数=QPS*(假设平均响应时间为1s)=1303214

即百度的峰值并发连接数为一百三十万左右

例：

pv统计：cat /var/log/httpd/access_log | wc -l

Web服务请求处理步骤

Web服务请求处理步骤.png

一次完整的http请求处理过程

1、建立连接：接收或拒绝连接请求

2、接收请求：接收客户端请求报文中对某资源的一次请求的过程

Web访问响应模型（Web I/O）

单进程I/O模型：启动一个进程处理用户请求，而且一次只处理一个，多个请求被串行响应

多进程I/O模型：并行启动多个进程,每个进程响应一个连接请求

复用I/O结构：启动一个进程，同时响应N个连接请求

实现方法：多线程模型和事件驱动

多线程模型：一个进程生成N个线程，每线程响应一个连接请求（例如apache，c10k问题，就是说apache最多处理10k的并发）

事件驱动：一个进程处理N个请求（例如nginx）

复用的多进程I/O模型：启动M个进程，每个进程响应N个连接请求，同时接收M*N个请求

Web访问响应模型：

Web访问响应模型.png

3、处理请求：服务器对请求报文进行解析，并获取请求的资源及请求方法等相关信息，根据方法，资源，首部和可选的主体部分对请求进行处理

元数据：请求报文首部

HEADERS 格式 name:value

示例：

Host: www.abc.com 请求的主机名称

Server: Apache/2.4.7

HTTP常用请求方式，Method

GET、POST、HEAD、PUT、DELETE、TRACE、OPTIONS

4、访问资源：

服务器获取请求报文中请求的资源web服务器，即存放了web资源的服务器，负责向请求者提供对方请求的静态资源，或动态运行后生成的资源

资源放置于本地文件系统特定的路径：DocRoot

DocRoot . /var/www/html

/var/www/html/images/logo.jpg

http://www.abc.com/images/logo.jpg

web服务器资源路径映射方式：

(a) docroot

(b) alias

(d) 用户家目录docroot

5、构建响应报文：

一旦Web服务器识别除了资源，就执行请求方法中描述的动作，并返回响应报文。响应报文中包含有响应状态码、响应首部，如果生成了响应主体的话，还包括响应主体

1）响应实体：如果事务处理产生了响应主体，就将内容放在响应报文中回送过去。响应报文中通常包括：

描述了响应主体MIME类型的Content-Type首部

描述了响应主体长度的Content-Length

实际报文的主体内容

2）URL重定向：web服务构建的响应并非客户端请求的资源，而是资源另外一个访问路径

永久重定向：http://www.360buy.com

临时重定向：http://www.taobao.com

3）MIME类型：

Web服务器要负责确定响应主体的MIME类型。多种配置服务器的方法可将MIME类型与资源管理起来

魔法分类：Apache web服务器可以扫描每个资源的内容，并将其与一个已知模式表(被称为魔法文件)进行匹配，以决定每个文件的MIME类型。这样做可能比较慢，但很方便，尤其是文件没有标准扩展名时

显式分类：可以对Web服务器进行配置，使其不考虑文件的扩展名或内容，强制特定文件或目录内容拥有某个MIME类型

类型协商：有些Web服务器经过配置，可以以多种文档格式来存储资源。在这种情况下，可以配置Web服务器，使其可以通过与用户的协商来决定使用哪种格式(及相关的MIME类型)"最好"

6、发送响应报文

Web服务器通过连接发送数据时也会面临与接收数据一样的问题。服务器可能有很多条到各个客户端的连接，有些是空闲的，有些在向服务器发送数据，还有一些在向客户端回送响应数据。服务器要记录连接的状态，还要特别注意对持久连接的处理。对非持久连接而言，服务器应该在发送了整条报文之后，关闭自己这一端的连接。对持久连接来说，连接可能仍保持打开状态，在这种情况下，服务器要正确地计算Content-Length首部，不然客户端就无法知道响应什么时候结束了

7、记录日志

最后，当事务结束时，Web服务器会在日志文件中添加一个条目，来描述已执行的事务

HTTP服务器应用

http服务器程序

httpd apache（市场占有率第一）

nginx

lighttpd

应用程序服务器

IIS .asp（微软的）

tomcat .jsp

jetty 开源的servlet容器，基于Java的web容器

Resin CAUCHO公司，支持servlets和jsp的引擎

webshpere(IBM), weblogic(BEA), jboss,oc4j(Oracle)

市场占有率统计

www.netcraft.com

Httpd介绍

httpd

20世纪90年代初，国家超级计算机应用中心NCSA开发

1995年开源社区发布apache（a patchy server）

ASF: apache software foundation

FSF：Free Software Foundation

特性：

高度模块化：core + modules

DSO: Dynamic Shared Object 动态加/卸载

MPM：multi-processing module多路处理模块

MPM工作模式

prefork：多进程I/O模型，每个进程响应一个请求，默认模型

一个主进程：生成和回收n个子进程，创建套接字，不响应请求

多个子进程：工作work进程，每个子进程处理一个请求；系统初始时，预先生成多个空闲进程，等待请求，最大不超过1024个（ulimit -a可看可调，但也没法调太高）

worker：复用的多进程I/O模型,多进程多线程，IIS使用此模型

一个主进程：生成m个子进程，每个子进程负责生个n个线程，每个线程响应一个请求，并发响应请求：m*n

event：事件驱动模型（worker模型的变种）

一个主进程：生成m个子进程，每个进程直接响应n个请求，并发响应请求：m*n，有专门的线程来管理这些keep-alive类型的线程，当有真实请求时，将请求传递给服务线程，执行完毕后，又允许释放。这样增强了高并发场景下的请求处理能力

httpd-2.2: event 测试版，centos6默认

httpd-2.4：event 稳定版，centos7默认

httpd-2.2在/usr/sbin下有三个主程序：httpd，httpd.worker，httpd.event，切换模式要切换主程序

httpd-2.4在/usr/sbin下只有一个主程序httpd，通过切换模块来切换模式

prefork MPM

prefork MPM.png

worker MPM

worker MPM.png

event MPM

event MPM.png

进程角色

进程角色.png

httpd功能特性

虚拟主机

IP、Port、FQDN

CGI：Common Gateway Interface，通用网关接口

反向代理

负载均衡

路径别名

丰富的用户认证机制

basic

digest

支持第三方模块

client --- proxy（正向代理服务器，有cache缓存，从server端缓存下来数据提供给众多client使用，以节省流量）--- reverse proxy（反向代理服务器，靠近服务器端，调度用，apache也可以做反向代理但基本不太用）--- websrv

Httpd安装

版本:CentOS 6: 2.2

CentOS 7: 2.4

安装方式：

rpm：centos发行版，稳定，建议使用

编译：定制或特殊需求

CentOS 6程序环境：httpd-2.2

配置文件：

/etc/httpd/conf/httpd.conf

/etc/httpd/conf.d/*.conf

检查配置语法：

httpd –t

service httpd configtest

CentOS 6 httpd程序环境

服务脚本：/etc/rc.d/init.d/httpd

脚本配置文件：/etc/sysconfig/httpd

服务控制和启动：

chkconfig httpd on|off

service {start|stop|restart|status|configtest|reload} httpd

站点网页文档根目录：

/var/www/html

模块文件路径：

/etc/httpd/modules

/usr/lib64/httpd/modules

主程序文件：

/usr/sbin/httpd

/usr/sbin/httpd.worker

/usr/sbin/httpd.event

主进程文件：

/etc/httpd/run/httpd.pid

日志文件目录：

/var/log/httpd

access_log: 访问日志

error_log：错误日志

帮助文档包：

httpd-manual

Httpd 2.2常见配置

httpd配置文件的组成：

# grep "Section" /etc/httpd/conf/httpd.conf

### Section 1: Global Environment

### Section 2: 'Main' server configuration

### Section 3: Virtual Hosts

配置格式：directive value

directive: 不区分字符大小写

value: 为路径时，是否区分大小写，取决于文件系统

1、显示服务器版本信息

ServerTokens Prod[uctOnly] ：Server: Apache

ServerTokens Major: Server: Apache/2

ServerTokens Minor: Server: Apache/2.0

ServerTokens Min[imal]: Server: Apache/2.0.41

ServerTokens OS: Server: Apache/2.0.41 (Unix)

ServerTokens Full (or not specified): Server: Apache/2.0.41 (Unix) PHP/4.2.2 MyMod/1.2

This setting applies to the entire server and cannot be enabled or disabled on a virtualhost-by-virtualhost basis.

After version 2.0.44, this directive also controls the information presented by the ServerSignature directive.

建议使用：ServerTokens Prod（否则被***看到版本号的话，容易利用该版本的漏洞来***）

2、修改监听的IP和Port

Listen [IP:]PORT

(1) 省略IP表示为本机所有IP

(2) Listen指令至少一个，可重复出现多次

Listen 80

Listen 8080

示例：

Listen 192.168.1.100:8080

Lsten 80

3、持久连接

Persistent Connection：连接建立，每个资源获取完成后不会断开连接，而是继续等待其它的请求完成，默认关闭持久连接

断开条件：数量限制：100

时间限制：以秒为单位， httpd-2.4 支持毫秒级

副作用：对并发访问量较大的服务器，持久连接功能会使用有些请求得不到响应

折衷：使用较短的持久连接时间

设置： KeepAlive On|Off

KeepAliveTimeout 15

MaxKeepAliveRequests 100

测试： telnet WEB_SERVER_IP PORT

GET /URL HTTP/1.1

Host: WEB_SERVER_IP

4、MPM（ Multi-Processing Module）多路处理模块

prefork, worker, event（试验阶段）

httpd-2.2不支持同时编译多个模块，所以只能编译时选定一个；rpm安装的包提供三个二进制程序文件，分别用于实现对不同MPM机制的支持

确认方法：

ps aux | grep httpd

默认为/usr/sbin/httpd, 即prefork模式

实验：

压力测试：

cp /var/log/messages /var/www/html/m.txt

ab -c 100 -n 2000 http://192.168.30.7/m.txt

看Requests per second每秒回应数这一项

发现prefork、worker和event三种mpm模块差别不大，event还跟php冲突，于是还是使用默认的prefork模块

查看模块列表

查看静态编译的模块

httpd -l

查看静态编译及动态装载的模块

httpd –M static是静态模块，shared是动态模块

动态模块加载：不需重启即生效

动态模块路径

/usr/lib64/httpd/modules/

http 2.4默认加载的模块的配置文件

/etc/httpd/conf.modules.d/00-base.conf

不需要的可注释掉

更换使用的httpd程序：

/etc/sysconfig/httpd

HTTPD=/usr/sbin/httpd.worker

重启服务生效

pstree -p|grep httpd 查看进程和线程

Httpd 2.4 与之不同

以动态模块方式提供

配置文件：/etc/httpd/conf.modules.d/00-mpm.conf

httpd –M |grep mpm

重启服务生效

pstree -p|grep httpd 查看进程和线程

prefork的默认配置：

StartServers 8

MinSpareServers 5

MaxSpareServers 20

ServerLimit 256 最多进程数,最大20000

MaxClients 256 最大并发

MaxRequestsPerChild 4000 子进程最多能处理的请求数量。在处理MaxRequestsPerChild 个请求之后,子进程将会被父进程终止，这时候子进程占用的内存就会释放(为0时永远不释放）

</IfModule>

worker的默认配置：

StartServers 4 #服务开启时默认启动的进程数

MaxClients 300

MinSpareThreads 25

MaxSpareThreads 75

ThreadsPerChild 25

MaxRequestsPerChild 0 无限制

</IfModule>

5、DSO： Dynamic Shared Object

加载动态模块配置

/etc/httpd/conf/httpd.conf

配置指定实现模块加载格式：

LoadModule <mod_name> <mod_path>

模块文件路径可使用相对路径：

相对于ServerRoot（默认/etc/httpd）

示例：

LoadModule auth_basic_module

modules/mod_auth_basic.so

6、定义'Main' server的文档页面路径

DocumentRoot “/path”

文档路径映射：

DocumentRoot指向的路径为URL路径的起始位置

示例：

DocumentRoot "/app/data“

http://HOST:PORT/test/index.html

--> /app/data/test/index.html

注意：SELinux和iptables的状态

http 2.4还需要添加一条Required all granted授权

7、定义站点主页面

DirectoryIndex index.html index.html.var

8、站点访问控制常见机制

可基于两种机制指明对哪些资源进行何种访问控制

访问控制机制有两种：客户端来源地址，用户账号

文件系统路径：

<Directory "/path"> #目录

</Directory>

<Files "/path/file"> #文件，支持通配符

</Files>

<FilesMatch "PATTERN"> #文件匹配，正则表达式

</FilesMatch>

URL路径：

</Location>

<LocationMatch ""> #URL匹配，支持正则表达式

</LocationMatch>

示例：

<Files "?at.*"> 通配符

9、<Directory>中“基于源地址”实现访问控制

(1) Options：后跟1个或多个以空白字符分隔的选项列表

在选项前的+，- 表示增加或删除指定选项

常见选项：

Indexes：指明的URL路径下不存在与定义的主页面资源相符的资源文件时，返回索引列表给用户

FollowSymLinks：允许访问符号链接文件所指向的源文件

None：全部禁用

All：全部允许

示例：

Options Indexes FollowSymLinks

</Directory>

Options FollowSymLinks

</Directory>

Options Indexes FollowSymLinks

</Directory>

Options +Includes -Indexes

</Directory>

(2) AllowOverride

与访问控制相关的哪些指令可以放在指定目录下的.htaccess（由AccessFileName指定）文件中，覆盖之前的配置指令

只对<directory>语句有效

AllowOverride All: 所有指令都有效

AllowOverride None：.htaccess 文件无效

AllowOverride AuthConfig Indexes 除了AuthConfig 和Indexes的其它指令都无法覆盖

(3) order和allow、deny

放在directory, .htaccess中

order：定义生效次序；写在后面的表示默认法则

Order allow,deny

Order deny,allow

Allow from和Deny from：定义客户端地址

客户端地址：

网络: 172.16

172.16.0.0

172.16.0.0/16

172.16.0.0/255.255.0.0

示例：

order deny,allow

deny from 172.16.100.100

allow from 172.16

</files>

order allow,deny

deny from 172.16.100.100

allow from 172.16

</filematch>

10、日志设定

日志类型：

访问日志

错误日志

错误日志：

ErrorLog logs/error_log

LogLevel warn

LogLevel 可选值:

debug, info, notice, warn,error

crit, alert, emerg

访问日志：

定义日志格式：LogFormat format strings

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

使用日志格式：

CustomLog logs/access_log combined

参考帮助：

http://httpd.apache.org/docs/2.2/mod/mod_log_config.html#formats

%h 客户端IP地址

%l 远程用户,启用mod_ident才有效，通常为减号“-”

%u 验证（basic，digest）远程用户,非登录访问时，为一个减号“-”

%t 服务器收到请求时的时间

%r First line of request，即表示请求报文的首行；记录了此次请求的“方法”，“URL”以及协议版本

%>s 响应状态码

%b 响应报文的大小，单位是字节；不包括响应报文http首部

%{Referer}i 请求报文中首部“referer”的值；即从哪个页面中的超链接跳转至当前页面的，如为"-"表示直接访问

%{User-Agent}i 请求报文中首部“User-Agent”的值；即发出请求的应用程序

可用参考应用程序来反爬虫，不过也可以伪造应用程序，例如curl -A "firefox"可以伪造应用程序为firefox

例：调整日志时间格式

vim /etc/httpd/conf/httpd.conf

LogFormat "%h %l %u %{%F %T}t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" custlog

CustomLog "logs/access_log" custlog

11、设定默认字符集

AddDefaultCharset UTF-8

中文字符集：GBK, GB2312, GB18030

12、定义路径别名

格式： Alias /URL/ "/PATH/"

DocumentRoot "/www/htdocs"

http://www.abc.com/download/bash.rpm

==>/www/htdocs/download/bash.rpm

Alias /download/ "/rpms/pub/"

http://www.abc.com/download/bash.rpm

==>/rpms/pub/bash.rpm

http://www.abc.com/images/logo.png

==>/www/htdocs/images/logo.png

13、基于用户的访问控制

认证质询：WWW-Authenticate：响应码为401，拒绝客户端请求，并说明要求客户端提供账号和密码

认证：Authorization：客户端用户填入账号和密码后再次发送请求报文；认证通过时，则服务器发送响应的资源

认证方式两种：

basic：明文

digest：消息摘要认证,兼容性差

安全域：需要用户认证后方能访问的路径；应该通过名称对其进行标识，以便于告知用户认证的原因

用户的账号和密码

虚拟账号：仅用于访问某服务时用到的认证标识

存储：文本文件，SQL数据库，ldap目录存储，nis等

basic认证配置示例：

(1) 定义安全域

Options None

AllowOverride None

AuthType Basic

AuthName "String“

AuthUserFile "/PATH/HTTPD_USER_PASSWD_FILE"

Require user username1 username2 ...

</Directory>

允许账号文件中的所有用户登录访问：

Require valid-user

(2) 提供账号和密码存储（文本文件）

使用专用命令完成此类文件的创建及用户管理

htpasswd [options] /PATH/HTTPD_PASSWD_FILE username

-c：自动创建文件，仅应该在文件不存在时使用

-p：明文密码

-d：CRYPT格式加密，默认

-m：md5格式加密

-s: sha格式加密

-D：删除指定用户

方法2：

AllowOverride Authconfig

</Directory>

cd /www/htdocs/admin

vim .htaccess

AuthType Basic

AuthName "String"

AuthUserFile "/etc/httpd/conf.d/.httpuser"

Require user user1

service httpd restart

基于组账号进行认证

(1) 定义安全域

AuthType Basic

AuthName "String“

AuthUserFile "/PATH/HTTPD_USER_PASSWD_FILE"

AuthGroupFile "/PATH/HTTPD_GROUP_FILE"

Require group grpname1 grpname2 ...

</Directory>

(2) 创建用户账号和组账号文件

组文件：每一行定义一个组

GRP_NAME: username1 username2 ...

示例：

Options None

AllowOverride None

AuthType Basic

AuthName "Administator private"

AuthUserFile "/etc/httpd/conf.d/.htpasswd"

AuthGroupFile "/etc/httpd/conf.d/.htgroup"

Require group webadmins

</Directory>

vim /etc/httpd/conf.d/.htgroup

webadmins:wang mage

远程客户端和用户验证的控制

Satisfy ALL|Any

ALL 客户机IP和用户验证都需要通过才可以

Any客户机IP和用户验证,有一个满足即可

示例：

Require valid-user

Order allow,deny

Allow from 192.168.1

Satisfy Any

14、实现用户家目录的http共享

基于模块mod_userdir.so实现

SELinux: http_enable_homedirs

相关设置：

vim /etc/httpd/conf/httpd.conf

（httpd-2.4是在/etc/httpd/conf.d/userdir.conf）

#UserDir disabled

UserDir public_html #指定共享目录的名称

</IfModule>

准备目录

su – wang;mkdir ~/public_html

setfacl –m u:apache:x ~wang

访问

http://localhost/~wang/index.html

15、ServerSignature On | Off | EMail

当客户请求的网页并不存在时，服务器将产生错误文档，缺省情况下由于打开了 ServerSignature选项，错误文档的最后一行将包含服务器的名字、Apache的版本等信息

如果不对外显示这些信息，就可以将这个参数设置为Off

设置为Email，将显示ServerAdmin 的Email提示

16、ServerType inetd | standalone.

standalone 独立服务模式

inetd 非独立服务模式

只适用于Unix平台

17、status页面

LoadModule status_module modules/mod_status.so

<Location /server-status> #此行URL可改

SetHandler server-status #此行不可改！

Order allow,deny

Allow from 172.16

</Location>

ExtendedStatus On 显示扩展信息

18、虚拟主机

站点标识： socket

IP相同，但端口不同

IP不同，但端口均为默认端口

FQDN不同：请求报文中首部Host: www.abc.com

有三种实现方案：

基于ip：为每个虚拟主机准备至少一个ip地址

基于port：为每个虚拟主机使用至少一个独立的port

基于FQDN：为每个虚拟主机使用至少一个FQDN

注意：一般虚拟机不要与main主机混用；因此，要使用虚拟主机，一般先禁用main主机

禁用方法：注释中心主机的DocumentRoot指令即可

虚拟主机的配置方法：

ServerName FQDN

DocumentRoot “/path"

</VirtualHost>

建议：上述配置存放在独立的配置文件中

其它可用指令：

ServerAlias：虚拟主机的别名；可多次使用

ErrorLog：错误日志

CustomLog：访问日志http-2.4为TransferLog

Alias

基于IP的虚拟主机示例：

ServerName www.a.com

DocumentRoot "/www/a.com/htdocs"

</VirtualHost>

ServerName www.b.net

DocumentRoot "/www/b.net/htdocs"

</VirtualHost>

ServerName www.c.org

DocumentRoot "/www/c.org/htdocs"

</VirtualHost>

基于端口的虚拟主机：可和基于IP的虚拟主机混和使用

listen 808

listen 8080

ServerName www.a.com

DocumentRoot "/www/a.com/htdocs"

</VirtualHost>

ServerName www.b.net

DocumentRoot "/www/b.net/htdocs"

</VirtualHost>

ServerName www.c.org

DocumentRoot "/www/c.org/htdocs"

</VirtualHost>

基于FQDN的虚拟主机：

NameVirtualHost *:80 httpd2.4不需要此指令

系统的main主机会失效，通过IP访问，默认看到的将是第一个虚拟主机的内容

ServerName www.a.com

DocumentRoot "/www/a.com/htdocs"

</VirtualHost>

ServerName www.b.net

DocumentRoot "/www/b.net/htdocs"

</VirtualHost>

ServerName www.c.org

DocumentRoot "/www/c.org/htdocs"

</VirtualHost>

模拟http访问：

telnet IPADDR/FQDN 80

GET / HTTP/1.1

HOST:IPADDR/FQDN

回车

http协议

http协议

http/0.9, http/1.0, http/1.1, http/2.0

http协议：stateless 无状态

服务器无法持续追踪访问者来源

解决http协议无状态方法

cookie 客户端存放

session 服务端存放

http事务：一次访问的过程

请求：request

响应：response

HTTP请求报文

HTTP请求报文.png

HTTP响应报文

HTTP响应报文.png

http协议

报文语法格式：

request报文

<entity-body>

response报文

<entity-body>

method: 请求方法，标明客户端希望服务器对资源执行的动作

GET、HEAD、POST等

version:

HTTP/<major>.<minor>

status:

三位数字，如200，301, 302, 404, 502; 标记请求处理过程中发生的情况

reason-phrase：

状态码所标记的状态的简要描述

headers：

每个请求或响应报文可包含任意个首部；每个首部都有首部名称，后面跟一个冒号，而后跟一个可选空格，接着是一个值

entity-body：请求时附加的数据或响应时附加的数据

Method 方法：

GET：从服务器获取一个资源

HEAD：只从服务器获取文档的响应首部

POST：向服务器输入数据，通常会再由网关程序继续处理

PUT：将请求的主体部分存储在服务器中，如上传文件

DELETE：请求删除服务器上指定的文档

TRACE：追踪请求到达服务器中间经过的代理服务器

OPTIONS：请求服务器返回对指定资源支持使用的请求方法

协议查看或分析的工具：

tcpdump, wireshark,tshark

http协议状态码分类

status(状态码)：

1xx：100-101 信息提示

2xx：200-206 成功

3xx：300-305 重定向

4xx：400-415 错误类信息，客户端错误

5xx：500-505 错误类信息，服务器端错误

http协议常用的状态码

200：成功，请求数据通过响应报文的entity-body部分发送;OK

301：请求的URL指向的资源已经被删除；但在响应报文中通过首部Location指明了资源现在所处的新位置；Moved Permanently

302：响应报文Location指明资源临时新位置 Moved Temporarily

304：客户端发出了条件式请求，但服务器上的资源未曾发生改变，则通过响应此响应状态码通知客户端；Not Modified（客户端则用缓存打开）

401：需要输入账号和密码认证方能访问资源；Unauthorized

403：请求被禁止；Forbidden

404：服务器无法找到客户端请求的资源；Not Found

500：服务器内部错误；Internal Server Error

502：代理服务器从后端服务器收到了一条伪响应，如无法连接到网关；Bad Gateway

503 – 服务不可用，临时服务器维护或过载，服务器无法处理请求

504 – 网关超时

http协议

headers：

格式：

Name: Value

Request URL:http://www.abc.com/

Request Method:GET

Status Code:200 OK

Remote Address:101.200.188.230:80

Response Headers

view source

Connection:keep-alive

Content-Encoding:gzip

Content-Type:text/html; charset=UTF-8

Date:Sun, 29 Jan 2017 14:32:30 GMT

Server:Tengine

Transfer-Encoding:chunked

Vary:Accept-Encoding

X-Pingback:http://www.abc.com/xmlrpc.php

Request Headers

view source

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8

Accept-Encoding:gzip, deflate, sdch

Accept-Language:zh-CN,zh;q=0.8

Cache-Control:max-age=0

Connection:keep-alive

Cookie:53gid2=10104634518015; 53gid0=10104634518015; 53gid1=10104634518015; 53revisit=1485699843851; 53uvid=1; onliner_zdfq72145423=0; CNZZDATA1260642320=1664910013-1485697454-%7C1485697454; visitor_type=old; 53kf_72145423_keyword=; kf_72145423_keyword_ok=1; Hm_lvt_4a78dc1643884da1c990c4c878832e70=1485699844; Hm_lpvt_4a78dc1643884da1c990c4c878832e70=1485700088

Host:www.abc.com

Upgrade-Insecure-Requests:1

User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.76 Safari/537.36

HTTP 首部字段

HTTP 首部字段包含的信息最为丰富。首部字段同时存在于请求和响应报文内，并涵盖 HTTP 报文相关的内容信息。使用首部字段是为了给客服端和服务器端提供报文主体大小、所使用的语言、认证信息等内容

首部字段结构HTTP 首部字段是由首部字段名和字段值构成的，中间用冒号“：”分隔

字段值对应单个 HTTP 首部字段可以有多个值

报文首部中出现了两个或以上具有相同首部字段名的首部字段时，在规范内尚未明确，根据浏览器内部处理逻辑的不同，优先处理的顺序可能不同，结果可能并不一致

首部的分类：

通用首部:请求报文和响应报文两方都会使用的首部

请求首部:从客户端向服务器端发送请求报文时使用的首部。补充了请求的附加内容、客户端信息、请求内容相关优先级等信息

响应首部：从服务器端向客户端返回响应报文时使用的首部。补充了响应的附加内容，也会要求客户端附加额外的内容信息

实体首部：针对请求报文和响应报文的实体部分使用的首部。补充了资源内容更新时间等与实体有关的的信息

扩展首部

通用首部：

Date: 报文的创建时间

Connection：连接状态，如keep-alive, close

Via：显示报文经过的中间节点（代理，网关）

Cache-Control：控制缓存，如缓存时长

MIME-Version:发送端使用的MIME版本

Warning：错误通知

请求首部：

Accept：通知服务器自己可接受的媒体类型

Accept-Charset：客户端可接受的字符集

Accept-Encoding：客户端可接受编码格式，如gzip

Accept-Language：客户端可接受的语言

Client-IP: 请求的客户端IP

Host: 请求的服务器名称和端口号

Referer：跳转至当前URI的前一个URL

User-Agent：客户端代理，浏览器版本

条件式请求首部：

Expect：允许客户端列出某请求所要求的服务器行为

If-Modified-Since：自从指定的时间之后，请求的资源是否发生过修改

If-Unmodified-Since：与上面相反

If-None-Match：本地缓存中存储的文档的ETag标签是否与服务器文档的Etag不匹配

If-Match：与上面相反

安全请求首部：

Authorization：向服务器发送认证信息，如账号和密码

Cookie: 客户端向服务器发送cookie

Cookie2：用于说明请求端支持的cookie版本

代理请求首部：

Proxy-Authorization: 向代理服务器认证

响应首部：

信息性：

Age：从最初创建开始，响应持续时长

Server：服务器程序软件名称和版本

协商首部：某资源有多种表示方法时使用

Accept-Ranges：服务器可接受的请求范围类型

Vary：服务器查看的其它首部列表

安全响应首部：

Set-Cookie：向客户端设置cookie

Set-Cookie2: 以上面相似

WWW-Authenticate：来自服务器对客户端的质询列表

实体首部：

Allow: 列出对此资源实体可使用的请求方法

Location：告诉客户端真正的实体位于何处

Content-Encoding:对主体执行的编码

Content-Language:理解主体时最适合的语言

Content-Length: 主体的长度

Content-Location: 实体真正所处位置

Content-Type：主体的对象类型，如text

缓存相关：

ETag：实体的扩展标签

Expires：实体的过期时间

Last-Modified：最后一次修改的时间

Cookie

HTTP 是一种无状态协议。协议自身不对请求和响应之间的通信状态进行保存。也就是说在 HTTP 这个级别，协议对于发送过的请求或响应都不做持久化处理。这是为了更快地处理大量事务，确保协议的可伸缩性，而特意把 HTTP 协议设计成如此简单的。可是随着 Web 的不断发展，很多业务都需要对通信状态进行保存。于是引入了 Cookie 技术。使用 Cookie 的状态管理Cookie 技术通过在请求和响应报文中写入 Cookie 信息来控制客户端的状态。Cookie 会根据从服务器端发送的响应报文内的一个叫做 Set-Cookie 的首部字段信息，通知客户端保存Cookie。当下次客户端再往该服务器发送请求时，客户端会自动在请求报文中加入 Cookie 值后发送出去。服务器端发现客户端发送过来的 Cookie 后，会去检查究竟是从哪一个客户端发来的连接请求，然后对比服务器上的记录，最后得到之前的状态信息

Set-Cookie首部字段

Set-cookie首部字段示例：

Set-Cookie: status=enable; expires=Fri, 24 Nov 2017 20:30:02 GMT; path=/;

NAME=VALUE 赋予 Cookie 的名称和其值,此为必需项

expires=DATE Cookie 的有效期，若不明确指定则默认为浏览器关闭前为止

path=PATH 将服务器上的文件目录作为Cookie的适用对象，若不指定则默认为文档所在的文件目录

domain=域名作为 Cookie 适用对象的域名，若不指定则默认为创建 Cookie的服务器的域名

Secure 仅在 HTTPS 安全通信时才会发送 Cookie

HttpOnly 加以限制使 Cookie 不能被 JavaScript 脚本访问

例：写个简单cookie

vim /var/www/html/setcookie.php

<?php

setcookie("title",'ceo'); #title=ceo

setcookie("name",'cfo',time()+86400); #name=cfo

通过浏览器访问http://IPADDR/setcookie.php后，cookie就会存到浏览器中

vim /var/www/html/showcookie.php

<?php

echo $_COOKIE["title"]; #查看某个cookie

var_dump($_COOKIE); #查看所有cookie

通过浏览器访问http://IPADDR/showcookie.php，可查看cookie

curl工具

curl工具

curl是基于URL语法在命令行方式下工作的文件传输工具，它支持FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE及LDAP等协议。curl支持HTTPS认证，并且支持HTTP的POST、PUT等方法， FTP上传， kerberos认证，HTTP上传，代理服务器，cookies，用户名/密码认证，下载文件断点续传，上载文件断点续传, http代理服务器管道（ proxy tunneling），还支持IPv6，socks5代理服务器，通过http代理服务器上传文件到FTP服务器等，功能十分强大

curl [options] [URL...]

-A/--user-agent <string> 设置用户代理发送给服务器（例如伪装成firefox浏览器）

-e/--referer <URL> 来源网址

--cacert <file> CA证书 (SSL)

-k/--insecure 允许忽略证书进行 SSL 连接

curl工具常用选项

--compressed 要求返回是压缩的格式

-H/--header <line>自定义首部信息传递给服务器

-i 显示页面内容，包括报文首部信息

-I/--head 只显示响应报文首部信息

-D/--dump-header <file>将url的header信息存放在指定文件中

--basic 使用HTTP基本认证

-u/--user <user[:password]>设置服务器的用户和密码

-L 如果有3xx响应码，重新发请求到新位置

-O 使用URL中默认的文件名保存文件到本地

-o <file> 将网络文件保存为指定的文件中

--limit-rate <rate> 设置传输速度

-0/--http1.0 数字0，使用HTTP 1.0

-v/--verbose 更详细

-C - 选项可对文件使用断点续传功能

-c/--cookie-jar <file name> 将url中cookie存放在指定文件中

-x/--proxy <proxyhost[:port]> 指定代理服务器地址

-X/--request <command> 向服务器发送指定请求方法

-U/--proxy-user <user:password> 代理服务器用户和密码

-T 选项可将指定的本地文件上传到FTP服务器上

--data/-d 方式指定使用POST方式传递数据

-b name=data 从服务器响应set-cookie得到值，返回给服务器

elinks工具：

elinks [OPTION]... [URL]...

-dump: 非交互式模式，将URL的内容输出至标准输出

-source:打印源码

mod_deflate模块

使用mod_deflate模块压缩页面优化传输速度

适用场景：

(1) 节约带宽，额外消耗CPU；同时，可能有些较老浏览器不支持

(2) 压缩适于压缩的资源，例如文本文件

LoadModule deflate_module modules/mod_deflate.so SetOutputFilter DEFLATE

# Restrict compression to these MIME types

AddOutputFilterByType DEFLATE text/plain

AddOutputFilterByType DEFLATE text/html

AddOutputFilterByType DEFLATE application/xhtml+xml

AddOutputFilterByType DEFLATE text/xml

AddOutputFilterByType DEFLATE application/xml

AddOutputFilterByType DEFLATE application/x-javascript

AddOutputFilterByType DEFLATE text/javascript

AddOutputFilterByType DEFLATE text/css

Level of compression (Highest 9 - Lowest 1)

DeflateCompressionLevel 9

排除特定旧版本的浏览器，不支持压缩

Netscape 4.x 只压缩text/html

BrowserMatch ^Mozilla/4 gzip-only-text/html

Netscape 4.06-08三个版本不压缩

BrowserMatch ^Mozilla/4\.0[678] no-gzip

Internet Explorer标识本身为“Mozilla / 4”，但实际上是能够处理请求的压缩。如果用户代理首部匹配字符串“MSIE”（“B”为单词边界”），就关闭之前定义的限制

BrowserMatch \bMSI[E] !no-gzip !gzip-only-text/html

https

https：http over ssl

SSL会话的简化过程

(1) 客户端发送可供选择的加密方式，并向服务器请求证书

(2) 服务器端发送证书以及选定的加密方式给客户端

(3) 客户端取得证书并进行证书验证

如果信任给其发证书的CA

(a) 验证证书来源的合法性；用CA的公钥解密证书上数字签名

(b) 验证证书的内容的合法性：完整性验证

(d) 检查证书是否被吊销

(e) 证书中拥有者的名字，与访问的目标主机要一致

(4) 客户端生成临时会话密钥（对称密钥），并使用服务器端的公钥加密此数据发送给服务器，完成密钥交换

(5) 服务用此密钥加密用户请求的资源，响应给客户端

注意：SSL是基于IP地址实现，单IP的主机仅可以使用一个https虚拟主机

https实现

(1) 为服务器申请数字证书

测试：通过私建CA发证书

(a) 创建私有CA

(b) 在服务器创建证书签署请求

(2) 配置httpd支持使用ssl，及使用的证书

yum -y install mod_ssl

配置文件：/etc/httpd/conf.d/ssl.conf

DocumentRoot

ServerName

SSLCertificateFile

SSLCertificateKeyFile

SSLCACertificateFile

(3) 测试基于https访问相应的主机

openssl s_client [-connect host:port] [-cert filename] [-CApath directory] [-CAfile filename]

免费证书：www.freessl.org等

http重定向https

将http请求转发至https的URL

重定向

Redirect [status] URL-path URL

status状态：

Permanent:Returns a permanent redirect status (301) indicating that the resource has moved permanently

Temp:Returns a temporary redirect status (302). This is the default

示例：

Redirect temp / https://www.abc.com/

HSTS

HSTS:HTTP Strict Transport Security

服务器端配置支持HSTS后，会在给浏览器返回的HTTP首部中携带HSTS字段。浏览器获取到该信息后，会将所有HTTP访问请求在内部做307跳转到HTTPS。而无需任何网络过程

HSTS preload list

是Chrome浏览器中的HSTS预载入列表，在该列表中的网站，使用Chrome浏览器访问时，会自动转换成HTTPS。Firefox、Safari、Edge浏览器也会采用这个列表

实现HSTS示例：

vim /etc/httpd/conf/httpd.conf

Header always set Strict-Transport-Security "max-age=31536000"

RewriteEngine on

RewriteRule ^(/.*)$ https://%{HTTP_HOST}$1 [redirect=302]

httpd自带的工具程序

httpd自带的工具程序

htpasswd：basic认证基于文件实现时，用到的账号密码文件生成工具

apachectl：httpd自带的服务控制脚本，支持start和stop

rotatelogs：日志滚动工具

access.log -->

access.log, access.1.log -->

access.log, acccess.1.log, access.2.log

httpd的压力测试工具

httpd的压力测试工具

ab, webbench, http_load, seige

Jmeter 开源

Loadrunner 商业，有相关认证

tcpcopy：网易，复制生产环境中的真实请求，并将之保存

ab [OPTIONS] URL

来自httpd-tools包

-n：总请求数

-c：模拟的并行数

-k：以持久连接模式测试

ulimit –n # 调整能打开的文件数

练习

1、建立httpd服务器，要求提供两个基于名称的虚拟主机:

(1)www.X.com，页面文件目录为/web/vhosts/x；错误日志为/var/log/httpd/x.err，访问日志为/var/log/httpd/x.access

(2)www.Y.com，页面文件目录为/web/vhosts/y；错误日志为/var/log/httpd/www2.err，访问日志为/var/log/httpd/y.access

(3)为两个虚拟主机建立各自的主页文件index.html，内容分别为其对应的主机名

(4)通过www.X.com/server-status输出httpd工作状态相关信息

2、为上面的第2个虚拟主机提供https服务，使得用户可以通过https安全的访问此web站点

(1)要求使用证书认证，证书中要求使用的国家(CN)、州(Beijing)、城市(Beijing)和组织(MageEdu)

(2)设置部门为Ops，主机名为www.Y.com，邮件为[email protected]

httpd-2.4

新特性

MPM支持运行为DSO机制；以模块形式按需加载

event MPM生产环境可用

异步读写机制

支持每模块及每目录的单独日志级别定义

每请求相关的专用配置

增强版的表达式分析式

毫秒级持久连接时长定义

基于FQDN的虚拟主机不需要NameVirutalHost指令

新指令，AllowOverrideList

支持用户自定义变量

更低的内存消耗

修改了一些配置机制

不再支持使用Order, Deny, Allow来做基于IP的访问控制

新模块

(1) mod_proxy_fcgi

FastCGI Protocol backend for mod_proxy

(2) mod_remoteip

Replaces the apparent client remote IP address and hostname for the request with the IP address list presented by a proxies or a load balancer via the request headers.

(3) mod_ratelimit

Provides Bandwidth Rate Limiting for Clients

CentOS 7 httpd程序环境

CentOS 7：httpd-2.4

安装方法：rpm，编译安装

Rpm安装程序环境：

配置文件：

/etc/httpd/conf/httpd.conf

/etc/httpd/conf.d/*.conf

模块相关的配置文件： /etc/httpd/conf.modules.d/*.conf

systemd unit file：

/usr/lib/systemd/system/httpd.service

主程序文件：

/usr/sbin/httpd

httpd-2.4支持MPM的动态切换

日志文件：

/var/log/httpd

access_log：访问日志

error_log：错误日志

站点文档：

/var/www/html

模块文件路径：

/usr/lib64/httpd/modules

服务控制：

systemctl enable|disable httpd.service

systemctl {start|stop|restart|status} httpd.service

httpd-2.4配置

配置应用：

(1) 切换使用的MPM

Centos 7:/etc/httpd/conf.modules.d/00-mpm.conf

启用要启用的MPM相关的LoadModule指令即可

centos6编译安装:

vim /etc/httpd24/httpd.conf

Include /etc/httpd24/extra/httpd-mpm.conf

LoadModule mpm_event_module modules/mod_mpm_event.so

(2)主目录：

DocumentRoot /path

(3) 基于IP的访问控制:

无明确授权的目录，默认拒绝

允许所有主机访问：Require all granted

拒绝所有主机访问：Require all denied

控制特定的IP访问：

Require ip IPADDR：授权指定来源的IP访问

Require not ip IPADDR：拒绝特定的IP访问

控制特定的主机访问：

Require host HOSTNAME：授权特定主机访问

Require not host HOSTNAME：拒绝 HOSTNAME：

FQDN：特定主机

domin.tld：指定域名下的所有主机

不能有失败，至少有一个成功匹配才成功，即失败优先

Require all granted

Require not ip 172.16.1.1 拒绝特定IP

</RequireAll>

多个语句有一个成功，则成功，即成功优先

Require all denied

require ip 172.16.1.1 允许特定IP

</RequireAny>

(4) 虚拟主机

基于FQDN的虚拟主机不再需要NameVirutalHost指令

ServerName www.b.net

DocumentRoot "/apps/b.net/htdocs"

Options None

AllowOverride None

Require all granted

</Directory>

</VirtualHost>

注意：任意目录下的页面只有显式授权才能被访问

(4) ssl:安装mod_ssl，和httpd-2.2相同配置

(5) KeepAlive on

KeepAliveTimeout #ms

MaxKeepAliveRequests 100

毫秒级持久连接时长定义

Sendfile机制

不用 sendfile 的传统网络传输过程：

read(file, tmp_buf, len)

write(socket, tmp_buf, len)

硬盘 >> kernel buffer >> user buffer >> kernel socket buffer >> 协议栈

一般网络应用通过读硬盘数据，写数据到 socket 来完成网络传输,底层执行过程：

1 系统调用 read() 产生一个上下文切换：从 user mode 切换到 kernel mode，然后 DMA 执行拷贝，把文件数据从硬盘读到一个 kernel buffer 里。

2 数据从 kernel buffer 拷贝到 user buffer，然后系统调用 read() 返回，这时又产生一个上下文切换：从kernel mode 切换到 user mode

3 系统调用 write() 产生一个上下文切换：从 user mode 切换到 kernel mode，然后把步骤2读到 user buffer 的数据拷贝到 kernel buffer（数据第2次拷贝到 kernel buffer），不过这次是个不同的 kernel buffer，这个 buffer和 socket 相关联。

4 系统调用 write() 返回，产生一个上下文切换：从 kernel mode 切换到 user mode(第4次切换),然后DMA从 kernel buffer 拷贝数据到协议栈（第4次拷贝）

上面4个步骤有4次上下文切换，有4次拷贝，如果能减少切换次数和拷贝次数将会有效提升性能

在kernel 2.0+ 版本中，系统调用 sendfile() 就是用来简化上面步骤提升性能的。sendfile() 不但能减少切换次数而且还能减少拷贝次数

用 sendfile() 来进行网络传输的过程：

sendfile(socket, file, len);

硬盘 >> kernel buffer (快速拷贝到kernel socket buffer) >> 协议栈

1 系统调用 sendfile() 通过 DMA 把硬盘数据拷贝到 kernel buffer，然后数据被 kernel 直接拷贝到另外一个与 socket 相关的 kernel buffer。这里没有 user mode 和 kernel mode 之间的切换，在 kernel 中直接完成了从一个 buffer 到另一个 buffer 的拷贝。

2 DMA 把数据从 kernel buffer 直接拷贝给协议栈，没有切换，也不需要数据从 user mode 拷贝到 kernel mode，因为数据就在 kernel 里

反向代理功能

启用反向代理

ProxyPass "/" "http://www.example.com/"

ProxyPa***everse "/" "http://www.example.com/"

特定URL反向代理

ProxyPass "/images" "http://www.example.com/"

ProxyPa***everse "/images" http://www.example.com/

示例：

ServerName www.abc.com

ProxyPass / http://localhost:8080/

ProxyPa***everse / http://localhost:8080/

</VirtualHost>

APR

APR(Apache portable Run-time libraries，Apache可移植运行库) 主要为上层的应用程序提供一个可以跨越多操作系统平台使用的底层支持接口库。在早期的Apache版本中，应用程序本身必须能够处理各种具体操作系统平台的细节，并针对不同的平台调用不同的处理函数

随着Apache的进一步开发，Apache组织决定将这些通用的函数独立出来并发展成为一个新的项目。这样，APR的开发就从Apache中独立出来，Apache仅仅是使用 APR而已。目前APR主要还是由Apache使用，由于APR的较好的移植性，因此一些需要进行移植的C程序也开始使用APR，开源项目比如用于服务器压力测试的Flood loader tester，该项目不仅仅适用于Apache，http://httpd.apache.org/test/flood

在centos6编译安装httpd-2.4

安装httpd-2.4

依赖于apr-1.4+, apr-util-1.4+, [apr-iconv]

apr： apache portable runtime，解决跨平台实现

CentOS 6：默认：apr-1.3.9, apr-util-1.3.9

安装前准备开发包：

开发环境包组：

Development Tools,Server

相关包：pcre-devel，openssl-devel expat-devel

下载源代码并解压缩：

httpd-2.4.27.tar.bz2

apr-1.6.2.tar.bz2

apr-util-1.6.0.tar.bz2

centos6 编译安装httpd-2.4方法一

安装apr-1.4+

cd apr-1.6.2

/configure --prefix=/app/apr

make && make install

安装apr-util-1.4+

cd ../apr-util-1.6.0

/configure --prefix=/app/apr-util --with-apr=/app/apr/

make -j 2 && make install

编译安装httpd-2.4

cd ../httpd-2.4.27

/configure --prefix=/app/httpd24 --enable-so --enable-ssl --enable-cgi --enable-rewrite --with-zlib --with-pcre --with-apr=/app/apr/ --with-apr-util=/app/apr-util/ --enable-modules=most --enable-mpms-shared=all --with-mpm=prefork

make -j 4 && make install

centos6 编译安装httpd-2.4方法二

cp -av apr-util-1.6.0 httpd-2.4.27/srclib/apr-util

cp -av apr-1.6.2 httpd-2.4.27/srclib/apr

cd httpd-2.4.27/

/configure --prefix=/app/httpd24 --enable-so --enable-ssl --enable-cgi --enable-rewrite --with-zlib --with-pcre --with-included-apr --enable-modules=most --enable-mpms-shared=all --with-mpm=prefork

make && make install

Httpd编译过程：/app/httpd24/build/config.nice

自带的服务控制脚本：/app/httpd24/bin/apachectl

在centos6 编译安装httpd-2.4

vim /etc/profile.d/httpd24.sh

export PATH=/app/http24/bin:$PATH

vim /etc/man.config

MANPATH /app/httpd24/man

自定义启动脚本(参考httpd-2.2的服务脚本)

cp /etc/rc.d/init.d/httpd /etc/rc.d/init.d/httpd24

vim /etc/rc.d/init.d/httpd24

apachectl=/app/httpd24/bin/apachectl

httpd=${HTTPD-/app/httpd24/bin/httpd}

pidfile=${PIDFILE-/app/httpd24/logs/httpd.pid}

lockfile=${LOCKFILE-/var/lock/subsys/httpd24}

chkconfig –add httpd24 ;chkconfig –list httpd24

练习

使用httpd-2.4实现

1、建立httpd服务，要求：

(1) 提供两个基于名称的虚拟主机：

www.a.com

页面文件目录为/web/vhosts/www1

错误日志为/var/log/httpd/www1/error_log

访问日志为/var/log/httpd/www1/access_log

www.b.com

页面文件目录为/web/vhosts/www2

错误日志为/var/log/httpd/www2/error_log

访问日志为/var/log/httpd/www2/access_log

(2) 通过www.a.com/server-status输出其状态信息，且要求只允许提供账号的用户访问

(3) www.a.com不允许192.168.1.0/24网络中的主机访问

2、为上面的第2个虚拟主机提供https服务，使得用户可以通过https安全的访问此web站点

(1) 要求使用证书认证，证书中要求使用国家（CN），州（Beijing），城市（Beijing），组织为(MageEdu)

(2) 设置部门为Ops, 主机名为www.b.com

猜你喜欢