私がbilibiliで聞いて、それらが良かったと思ったいくつかのビデオを共有してください：
1.手書きのスレッドプールビデオ：https：//www.bilibili.com/video/BV1AT4y13791
2. epollの原理を説明するビデオ：https：//www.bilibili.com/video/BV1Xr4y1c7aV
3.手書きのユーザーモードプロトコルスタックビデオ：https：//www.bilibili.com/video/BV1x54y1t7so
ご存知のように、サーバーの同時実行モデルは通常、シングルスレッドモデルとマルチスレッドモデルに分けることができます。ここでのスレッドは通常、「I / Oスレッド」、つまりI / O操作を担当する「管理スレッド」を指します。実際のリクエストとタスクは通常、いわゆる「ワーカースレッド」によって処理されます。通常、マルチスレッドモデルでは、各スレッドはI / Oスレッドとワーカースレッドの両方です。したがって、ここで説明するのは、シングルI / Oスレッド+マルチワーカースレッドモデルです。これは、最も一般的に使用されるサーバー同時実行モデルでもあります。このモデルは、私のプロジェクトのサーバーコードのいたるところに見られます。また、「準同期/準非同期」モデルと呼ばれる名前が付けられています。同時に、このモデルは、生産者/消費者（特に複数消費者）モデルの現れでもあります。
このアーキテクチャは主にI / O多重化のアイデアに基づいています（主にepoll、select / pollは古くなっています）シングルスレッドI / O多重化により、マルチスレッドI /さまざまなオーバーヘッドを回避しながら効率的な同時実行を実現できます前後の切り替えは明確で管理が容易であり、スレッドプールに基づくマルチワーカースレッドは、マルチスレッドの利点を十分に活用して使用し、スレッドプールを使用してリソースの再利用をさらに改善し、過剰な本番スレッドを回避できます。
ボトルネックはIO強度です。スレッドプールでは、もちろんすべてがブロックを受け入れる10個のスレッドを開くことができるので、クライアントはスレッドが起動したときに自動的に処理するスレッドをアクティブにしますが、10個のスレッドがすべて使い果たされると、11番目のクライアントが破棄が発生しました。「高い同時実行性」を実現するには、スレッドプールの数を増やす必要があります。これにより、深刻なメモリ使用量とスレッド切り替え遅延の問題が発生します。そのため、イベント前のポーリング機能の計画が作成され、メインスレッドのポーリングがIOを担当し、ジョブがスレッドプールに引き渡されます。同時実行性が高い場合、10Wクライアントが起動すると、メインスレッドが受け入れを担当し、それらがキューに配置されるため、タイムリーなハンドシェイクなしに接続が破棄されることはなく、ジョブスレッドはキューからジョブを要求します。完了後、メインスレッドに返信します。、メインスレッドは書き込みを担当します。これにより、ごくわずかなシステムリソースで多数の接続を処理できます。たとえば、同時実行性が低い場合、2つのクライアントが起動した場合、100のスレッドがそこに存在する状況は発生せず、システムリソースが浪費されます。
基本的なスレッドプールモデルのコアを正しく実装します。メインスレッドはすべてのI / O操作を担当し、必要に応じて、要求のすべてのデータを受信した後、処理のためにワーカースレッドに渡されます。処理が完了したら、書き戻す必要のあるデータをメインスレッドに戻して書き戻すか、ブロックされるまで書き戻してから、メインスレッドに戻して続行します。ここで「必要な場合」とは、測定後、この処理中に消費されたCPU時間（I / O待機を含まない、または関連するI / O待機操作をepollで引き継ぐことができない）が非常に重要であることを確認します。このプロセス（引き継ぐことができるI / O操作を含まない）が重要でない場合は、メインスレッドで直接解決できます。この「必要」の前提は、仮説、分析、測定の3つの言葉だけです。
したがって、正しく実装されたスレッドプール環境クロックの場合、select +ブロッキングI / Oの代わりにepoll +ノンブロッキングI / Oを使用する利点は、多数のソケットを処理するときに、前者の方が後者よりも効率的であるということです。前者は毎回必要ではないため、目覚めた後、すべてのfdを再チェックして、どのfdステータス変更を読み書きできるかを判断します。
エッセンシャル
1.シングルI / Oスレッドepoll
単一のI / Oスレッドを実装するepollモデルは、このアーキテクチャの最初の技術的ポイントです。主なアイデアは次のとおりです。
単一のスレッドがepollを作成して待機し、I / O要求（ソケット）が到着すると、それがepollに追加され、アイドル状態のワーカースレッドがスレッドプールから取得され、実際のビジネスはワーカースレッドによって処理されます。
擬似コード：
创建一个epoll实例;
while(server running)
{
epoll等待事件;
if(新连接到达且是有效连接)
{
accept此连接;
将此连接设置为non-blocking;
为此连接设置event(EPOLLIN | EPOLLET ...); 将此连接加入epoll监听队列;
从线程池取一个空闲工作者线程并处理此连接;
}
else if(读请求)
{
从线程池取一个空闲工作者线程并处理读请求;
}
else if(写请求)
{
从线程池取一个空闲工作者线程并处理写请求;
}
else
其他事件;
}
C / C ++ Linuxサーバー開発のよりエキサイティングなコンテンツには、C / C ++、Linux、Nginx、ZeroMQ、MySQL、Redis、MongoDB、ZK、ストリーミングメディア、P2P、Linuxカーネル、Docker、TCP / IP、coroutine、DPDK共有が含まれます。複数の高度な知識ポイントの。リンクをクリックしてサブスクライブし、直接視聴してください：https ：//ke.qq.com/course/417774？flowToken = 1013189
ビデオ学習教材+グループ720209036買収
2.スレッドプールの実装
サーバーが起動すると、I / Oスレッドがフェッチするために、スレッドプールに参加するために（20）などの特定の数のワーカースレッドが作成されます。
I / Oスレッドがアイドルワーカースレッドを要求するたびに、アイドルワーカースレッドがプールから取得され、対応する要求が処理されます。
要求が処理され、対応するI / O接続が閉じられると、対応するスレッドがリサイクルされ、次の使用のためにスレッドプールに戻されます。
アイドルワーカースレッドプールが要求されたときにアイドルワーカースレッドがない場合は、次の処理を実行できます。
（1）プール内で「管理」されているスレッドの総数が最大許容値を超えない場合、ワーカースレッドの新しいバッチを作成してプールに参加させることができ、そのうちの1つがI /で使用するために返されます。 Oスレッド;
（2）プール内で「管理」されているスレッドの総数が最大値に達した場合、それ以上新しいスレッドを作成する必要はありません。しばらく待ってから再試行してください。I / Oスレッドは単一のスレッドであり、ここで待機することをブロックするべきではないため、スレッドプールの管理は、新しいワーカースレッドの作成を含め、専用の管理スレッドによって完了する必要があることに注意してください。このとき、管理スレッドはブロックされて待機しています（条件変数の使用やウェイクアップの待機など）。しばらくすると、スレッドプールにアイドル状態のワーカースレッドが存在するはずです。それ以外の場合は、サーバーの負荷が問題になると推定されます。
Epollは、Linuxでの同時実行性の高いサーバーに最適なソリューションです。イベントに基づいてトリガーされるため、選択よりも桁違いに高速です。
シングルスレッドのepollでは、トリガーボリュームは15000に達する可能性がありますが、ビジネスを追加した後、ほとんどのビジネスはデータベースを扱うため、ブロッキング状況が発生します。今回は、複数のスレッドを使用して高速化する必要があります。
ビジネスはスレッドプールにあるため、ここでロックが必要です。2300テスト結果/秒
テストツール：ストレスマーク
abに適したコードが追加されているため、abはストレステストにも使用できます。
char buf [1000] = {0};
sprintf（buf、 "HTTP / 1.0 200 OK \ r \ nContent-type：text / plain \ r \ n \ r \ n％s"、 "Hello world！\ n"）;
send（socketfd、buf、strlen（buf）、0）;
#include <iostream>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>
#include <pthread.h>
#include <errno.h>
#define MAXLINE 10
#define OPEN_MAX 100
#define LISTENQ 20
#define SERV_PORT 8006
#define INFTIM 1000
//线程池任务队列结构体
struct task{
int fd; //需要读写的文件描述符
struct task *next; //下一个任务
};
//用于读写两个的两个方面传递参数
struct user_data{
int fd;
unsigned int n_size;
char line[MAXLINE];
};
//线程的任务函数
void * readtask(void *args);
void * writetask(void *args);
//声明epoll_event结构体的变量,ev用于注册事件,数组用于回传要处理的事件
struct epoll_event ev,events[20];
int epfd;
pthread_mutex_t mutex;
pthread_cond_t cond1;
struct task *readhead=NULL,*readtail=NULL,*writehead=NULL;
void setnonblocking(int sock)
{
int opts;
opts=fcntl(sock,F_GETFL);
if(opts<0)
{
perror("fcntl(sock,GETFL)");
exit(1);
}
opts = opts|O_NONBLOCK;
if(fcntl(sock,F_SETFL,opts)<0)
{
perror("fcntl(sock,SETFL,opts)");
exit(1);
}
}
int main()
{
int i, maxi, listenfd, connfd, sockfd,nfds;
pthread_t tid1,tid2;
struct task *new_task=NULL;
struct user_data *rdata=NULL;
socklen_t clilen;
pthread_mutex_init(&mutex,NULL);
pthread_cond_init(&cond1,NULL);
//初始化用于读线程池的线程
pthread_create(&tid1,NULL,readtask,NULL);
pthread_create(&tid2,NULL,readtask,NULL);
//生成用于处理accept的epoll专用的文件描述符
epfd=epoll_create(256);
struct sockaddr_in clientaddr;
struct sockaddr_in serveraddr;
listenfd = socket(AF_INET, SOCK_STREAM, 0);
//把socket设置为非阻塞方式
setnonblocking(listenfd);
//设置与要处理的事件相关的文件描述符
ev.data.fd=listenfd;
//设置要处理的事件类型
ev.events=EPOLLIN|EPOLLET;
//注册epoll事件
epoll_ctl(epfd,EPOLL_CTL_ADD,listenfd,&ev);
bzero(&serveraddr, sizeof(serveraddr));
serveraddr.sin_family = AF_INET;
serveraddr.sin_port=htons(SERV_PORT);
serveraddr.sin_addr.s_addr = INADDR_ANY;
bind(listenfd,(sockaddr *)&serveraddr, sizeof(serveraddr));
listen(listenfd, LISTENQ);
maxi = 0;
for ( ; ; ) {
//等待epoll事件的发生
nfds=epoll_wait(epfd,events,20,500);
//处理所发生的所有事件
for(i=0;i<nfds;++i)
{
if(events[i].data.fd==listenfd)
{
connfd = accept(listenfd,(sockaddr *)&clientaddr, &clilen);
if(connfd<0){
perror("connfd<0");
exit(1);
}
setnonblocking(connfd);
char *str = inet_ntoa(clientaddr.sin_addr);
//std::cout<<"connec_ from >>"<<str<<std::endl;
//设置用于读操作的文件描述符
ev.data.fd=connfd;
//设置用于注测的读操作事件
ev.events=EPOLLIN|EPOLLET;
//注册ev
epoll_ctl(epfd,EPOLL_CTL_ADD,connfd,&ev);
}
else if(events[i].events&EPOLLIN)
{
//printf("reading!/n");
if ( (sockfd = events[i].data.fd) < 0) continue;
new_task=new task();
new_task->fd=sockfd;
new_task->next=NULL;
//添加新的读任务
pthread_mutex_lock(&mutex);
if(readhead==NULL)
{
readhead=new_task;
readtail=new_task;
}
else
{
readtail->next=new_task;
readtail=new_task;
}
//唤醒所有等待cond1条件的线程
pthread_cond_broadcast(&cond1);
pthread_mutex_unlock(&mutex);
}
else if(events[i].events&EPOLLOUT)
{
/*
rdata=(struct user_data *)events[i].data.ptr;
sockfd = rdata->fd;
write(sockfd, rdata->line, rdata->n_size);
delete rdata;
//设置用于读操作的文件描述符
ev.data.fd=sockfd;
//设置用于注测的读操作事件
ev.events=EPOLLIN|EPOLLET;
//修改sockfd上要处理的事件为EPOLIN
epoll_ctl(epfd,EPOLL_CTL_MOD,sockfd,&ev);
*/
}
}
}
}
static int count111 = 0;
static time_t oldtime = 0, nowtime = 0;
void * readtask(void *args)
{
int fd=-1;
unsigned int n;
//用于把读出来的数据传递出去
struct user_data *data = NULL;
while(1){
pthread_mutex_lock(&mutex);
//等待到任务队列不为空
while(readhead==NULL)
pthread_cond_wait(&cond1,&mutex);
fd=readhead->fd;
//从任务队列取出一个读任务
struct task *tmp=readhead;
readhead = readhead->next;
delete tmp;
pthread_mutex_unlock(&mutex);
data = new user_data();
data->fd=fd;
char recvBuf[1024] = {0};
int ret = 999;
int rs = 1;
while(rs)
{
ret = recv(fd,recvBuf,1024,0);// 接受客户端消息
if(ret < 0)
{
//由于是非阻塞的模式,所以当errno为EAGAIN时,表示当前缓冲区已无数据可//读在这里就当作是该次事件已处理过。
if(errno == EAGAIN)
{
printf("EAGAIN\n");
break;
}
else{
printf("recv error!\n");
close(fd);
break;
}
}
else if(ret == 0)
{
// 这里表示对端的socket已正常关闭.
rs = 0;
}
if(ret == sizeof(recvBuf))
rs = 1; // 需要再次读取
else
rs = 0;
}
if(ret>0){
//-------------------------------------------------------------------------------
data->n_size=n;
count111 ++;
struct tm *today;
time_t ltime;
time( &nowtime );
if(nowtime != oldtime){
printf("%d\n", count111);
oldtime = nowtime;
count111 = 0;
}
char buf[1000] = {0};
sprintf(buf,"HTTP/1.0 200 OK\r\nContent-type: text/plain\r\n\r\n%s","Hello world!\n");
send(fd,buf,strlen(buf),0);
close(fd);
}
}
}